Skip some param translation in the JPK driver for channel-less segments.

Improve handling of the base calibration slot units in JPK driver.

I'm using the 0.12 specs for the JPK driver, so allow version 0.12 files.

The previous range(12) code only went up to version 0.11.

Adjust unit extraction from the JPK file format.

I've emailed Michael Haggerty to track down the version that made the
change from 'data.unit=' to 'data.unit.unit='.  For now, I'm assuming
it's just <= 0.2.

Add support for raster and constant data to JPK driver.

Add support for {,u}int{16,32} segments in JPK driver.

TODO: check that these are converted to float32 or similar when
converting from bits to meters.  Potentially change from multi-column
Data blocks to lists of single column blocks to allow for different
dtypes in each block.

Break JPK data block name extraction out into ._zip_segment_name().

Also removes restrictions on allowed names.

Extract 'z piezo sensitivity (m/V)' from JPK files into Curve.info.

Not particularly important, since we convert from V to m inside the
driver, but it's an interesting property for getting a feel for how a
particular instrument works.

Accept version 0.2 (and similar?) JPK files with channels (vs. channels.list).

I've emailed Michael Haggerty for clarification on this issue, but
this will work until I hear back.

Mark block level spring constant as a hack in the JPK driver.

Don't assume you know which sJPK egments will be created.

Allow JPK file versions up to 0.12 (unfinished).

Add version 0.2 and 0.12 JPK file examples from Michael Haggerty.

Also adjust test/jpk_driver.py to attempt to load each file in the JPK
playlist.  Note that this currently fails for some of the new files
because I haven't fixed the JPK driver yet.

Move hooke.driver.igorbinarywave to hooke.util.igorbinarywave.

It's a utility for the MFP3D driver, not a driver in its own right.

Update test/ to pass after 8f1ebe298b48.

Don't specify curve or data block types.  See doc/standards.txt.

Add information about JPKForceSpec.txt to hooke.driver.jpk.__doc__.

Update this if you adjust the driver based on a newer spec, or if JPK
changes their licensing or contact email address.

Improve error message for old (ASCII) JPK file formats.

Michael Haggerty gave me the name of JPK's upgrade script so we can
point users in the right direction.

Remove 'results' panel from GUI.  Use 'block info' instead.

Added --config option to bin/hk.py to override built in config file path.

Remove hooke/plugin/export.py.

You can achieve the similar effects with
  do_fits         ->  'block info'
  do_force_curve  ->  'export block'
  do_notes        ->  'save playlist'
  do_overlay      ->  'export block' or future 'superimpose' + 'export block'
  do_results      ->  'block info' or 'export block'

Remove hooke/plugin/results.py.

I'm not sure what it was for in the first place.  Probably not a great
reason to remove it ;), but if it turns out to have been important, we
can always bring it back later.

Remove hooke/plugin/procplots.py.

Nothing substantially different from hooke/plugin/plotmanip.py.

Remove hooke/plugin/generalvclamp.py.

The only functions without analogs in the current framework are
already listed at the OldCruft class at the end of
hooke/plugin/curve.py.

Remove hooke/plugin/flatfilts*

Their functionality is now distributed among
  hooke/plugin/flatfilt.py
  hooke/plugin/convfilt.py
  hooke/util/peak.py

Update test/ with new 'block names' in 'curve info' (from 3371b5652dfe).

Add 'block names' argument to 'curve info'.

Many commands key off the block name, so there should be a way for the
user to determine what the block names are.

Add list of possible keys to 'block info' error for key discovery.

Updated test/ to match new pformated command line output.

pprint.pformat output dicts in ui.commandline.

Also more str() -> unicode() (see 2f57e930cd52).

Added 'block info' to retrieve and export portions of Curve.data[*].info.

Note that unloaded curves will not have any Data or DataInfo portion saved in playlist files.

Ran update_copyright.py.

Add 'hg update wtk' to Mercurial installation directions.

Check data copying in Curve.__copy__ and .__deepcopy__ doctests.

Store a copy of params in CurveCommand._add_to_command_stack.

We may modify the parameter dict later during the command's execution,
and we want future runs via the command stack to replicate the first
run from the raw initial parameters.  If you don't do this, you'll get
errors like

    $ ./bin/hk.py
        -c 'load_playlist test/data/vclamp_picoforce/playlist'
        -c 'start_command_capture'
        -c 'zero_surface_contact_point --block approach'
        -c 'zero_surface_contact_point --block retract'
        -c 'stop_command_capture'
        -c 'apply_command_stack_to_playlist --enable-evaluate'
        -c 'flat_filter_playlist --block retract --min_points 1'
    Success
    ...
    Failure
    Expected a list of Peaks, not <class 'hooke.command.Failure'>:
      surface distance (m) not in retract (['z piezo (m)', 'deflection (m)',
      'surface distance (m) (m)', 'surface deflection (m) (m)']):...

where the units '(m)' were appended twice, once during the initial
command run, and again during the reload's command stack exectution.

Maintain Curve._hooke setting during copy and deepcopy.

Flesh out command line help messages.

.__setup_params() -> ._setup_params() in hooke/plugin/*.py.

Methods starting with '__' get special name mangling.
  http://docs.python.org/reference/expressions.html#atom-identifiers
We don't want any of that.

Don't distinguish between ASCII unicode and strings in YAML output.

Document fit parameter extraction via PyYAML.

Document --ui in doc/gui.txt.

Added convenience --ui option to hooke.hooke.main().

Trivial fixes to test/command_stack.py.  Now test/ passes again.

Don't load curves becore clearing their command stack.

Loading a curve (which would happen if it had been unloaded before
being summoned by current_curve_callback) executes its command stack.
Since 'clear curve command stack' is only trying to remove the stack,
that stack execution is a waste of time.  With the unloaded callback,
we can remove the command stack without ever loading the curve.

Fix 'flat filter peaks' CommandMessage declaration in test/apply_command_stack_to_playlist.py

Don't fail if Playlist.unload() is called on an unloaded Curve.

Double initial guess for the surface kink position.

The previous algorithm would fail for curves if
1) They didn't have many tension features to stretch out the range.
2) The contact slope "softened" a bit in the kink region.

For example, try it on most of the test/vclamp_picoforce data ;).

The new algorithm works perfectly on the ideal, boring curve:
    _______
   /
  /

Keep Playlist._loaded up to date on Curve.unload() calls.

Add 'command stack' to list of ignored commands in propertyeditor.py

Added logging to hooke.util.callback's callback routines.

Oops, the CommandMessage.explicit_user_call, not Command.explicit_user_call.

Fixes bug from daf1c9f9c8e1.

Added hooke.util.caller.caller_names() for minimal stack traces.

Added CommandStack.explicit_user_call to distinguish user- from UI-generated calls.

More robust guess for `zero surface contact point` + fit check arguments

Add PyYAML to doc/install.txt and doc/hacking.txt dependency lists.

Extend JPK v0.5 parsing back to 0.3 and 0.4 file formats.

On Mon, Aug 23, 2010 at 02:15:08PM +0200, Michael Haggerty wrote:
> The fundamentals of our file format has not changed much since it was
> introduced.  Most of the changes involve metadata, such as how we
> describe force spectroscopy scanning patterns, that are not even
> described in the document that I sent you.

Remove ._on_notebook_page_close binding for the removed notebook GUI panel.

Restore HookeFrame.select_plugin (was removed in 29866287a21e).

Cleaned non-folders-panel cruft methods out of hooke.ui.gui.HookeFrame

Update view menu checkbox on pane-close button activity.

Shift function key accelerators down by one (from F5 and up to F4 and up).

Despite the stated range of F1 through F12
  http://docs.wxwidgets.org/2.8/wx_wxmenu.html#wxmenuappend
F10 seems to open the &File menu instead of toggling its panel's
visibility.  This is possibly related to
  http://trac.wxwidgets.org/ticket/2404

Add menu title hotkeys to the GUI.

From
  http://wiki.wxwidgets.org/Beech:Using_controls#Adding_a_Menu_Bar
we have
  "Note how the ampersand ("&") is used in strings like "E&xit" and
  "&File". This indicates which character in a menubar or menu will be
  the menu hotkey."

Save dtypes to YAML (now we only drop ndarrays).

Add hooke.util.yaml.data_constructor to rebuild hooke.curve.Data.info.

Save nicely scaled WLC parameters to the fit dict in polymer_fit.py.

Updated test/ to match the new explicit YAML format.

And other minor tweaks to get things passing again.
  $ nosetests --with-doctest --doctest-tests -vv test/ 2>&1 | less
  ...
  Ran 27 tests in 43.349s

  OK

Note that the tutorial.py and note.py tests were going so slowly
before (but are fast again now) because I was (re)loading
playlist/curve/etc. items in .__setstate__, when they are supposed to
be set with `listitems`.  If you're going to go messing around with
__getstate__ or __setstate__, it would be a good idea to read
  http://www.python.org/dev/peps/pep-0307/
(especially Case 2 and Case 3) *carefully* before wasting a bunch
of time and confusion bungling around like I did ;).

Add `name playlist' command.

To avoid collisions if you load the same playlist twice, etc.

Upgrade test/data/ playlists to new explicit YAML format.

Stay on top of Curve.set_hooke() so we can run CommandStacks.

Remove debugging printout from hooke.playlist.load.

Cleaned up hooke.playlist.load() and its use in `load playlist`.

Adjust Hooke internals to use unsafe YAML (not just builtin Python types).

Pros:
* More explicit YAML.
* Simple, robust code.
* Easily (de)serialize everything, regardless of nesting, etc.
Cons:
* Uglier YAML.

After wrestling with a yaml.safe_dump()able representation, I've given
up and shifted to yaml.dump().  Now we can dump anything easily, which
is great :).  For example, this will allow you to access polymer fit
parameters.  However, there will be things like
  !!python/object/new:hooke.playlist.FilePlaylist
in the output YAML files.  Such is life.

While I was at it, I ran
  $ nosetests --with-doctest --doctest-tests hooke/ 2>&1 | log
and cleaned up a number of the doctests.  Now the only things that
fail in there are the yet-to-be-upgraded submods left over from before
my rewrite.

I haven't checked test/ recently, that's next ;).

Fix hooke.util.yaml handling of assorted numpy.dtypes.

Fix polymer fit info name

Don't ignore Curve.data in playlist serialization (now that we have hooke.util.yaml).

Added command_stack option to all' default.

Clear NoteIndexList in .__setstate__ to avoid doubling items during engine->UI passing.

Fix to plugin experiment checks after 8687bbf30e87.

Fix item -> items() bug in command_stack.py (now loaded curve playlist serialization works!)

Added hooke.util.yaml fixing YAML/NumPy type issues (by dropping data).

Tracked down problems saving playlists with loaded curves to numpy.dtype

Demonstrate issue 1062277 if you serialize the command stack first

Add doctests proving recursive curve->command_stack->arguments->curve serializing works

Remove CommandStack.__getstate__ to avoid type ambiguity for command arguments.

Oops, store the serialized Experiment in state not self.info.

Serialize hooke.experiment.Experiment instances in Curves.

Also use singleton instances of the classes rather than the classes
themselves.  This will allow usage of isinstance() rather than
.__mro__ to determine experiment type.

Add hooke.playlist.Playlists for better playlist serialization.

Remove trailing blank lines from vclamp_picoforce/README

Transition from v0.1 XML playlists to v0.2 YAML playlists.

All test/ tests pass except for tutorial.py and note.py, which take
forever to run.  I'm going to figure out what's going on there next.

Anyone with old playlist files can either upgrade by hand (the new
syntax is pretty simple, see the playlists under test/data/ for
examples), or use the automatic script
  contrib/upgrade_playlist_0p1.py
which converts the playlists automatically.  The output from the
upgrade script is, like most auto-generated files, less concise
than a hand coded playlist, but it will work just fine.

For an introduction to YAML, see
  http://www.yaml.orlg/
which contains links YAML libraries in a number of languages.  The
playlists are generated with PyYAML
  http://pyyaml.org/
which handles YAML 1.1
  http://yaml.org/spec/1.1/
The Hooke playlist format is pretty simple, so it shouldn't be too
strongly tied to any particular version of YAML, although I haven't
actually tested it with a 1.0 or 1.2 parser.

Name Hemingway data blocks so they may be viewed in the GUI.

Use 'Indexes' to split MFP3D curves into blocks.

First attempt at temperature extraction for MFP3D (+ convert spring constant to float).

Attach raw info etc. to curve in MFP3D driver (used to be just data blocks).

Convert JPK deflection sign to follow Hooke convention.

Fast curve review seems to be a GUI-specific feature.

Command line UI now handles EOF during request/response interactions.

For example
  $ echo | ./bin/hk.py -c 'new_playlist'
                       -c 'glob_curves_to_playlist test/data/*' --persist
used to loop forever thinking it was getting invalid responses to
  Exit? [y/N]

Also, change str() to unicode() in DoCommand.__call__ to handle
non-ascii messages (e.g. µ (micro) from SI units).

Remove debugging printout from JPK driver

Convert all channels to their default calibration in the JPK driver.

The previous implementation only scaled height and vDeflection, which
meant that the other unscaled (and therefore unitless) columns broke
distance formatting commands (e.g. 'point info').

Set filetype and experiment fields in JPK driver.