Don't distinguish between ASCII unicode and strings in YAML output.

Document fit parameter extraction via PyYAML.

Document --ui in doc/gui.txt.

Added convenience --ui option to hooke.hooke.main().

Trivial fixes to test/command_stack.py.  Now test/ passes again.

Don't load curves becore clearing their command stack.

Loading a curve (which would happen if it had been unloaded before
being summoned by current_curve_callback) executes its command stack.
Since 'clear curve command stack' is only trying to remove the stack,
that stack execution is a waste of time.  With the unloaded callback,
we can remove the command stack without ever loading the curve.

Fix 'flat filter peaks' CommandMessage declaration in test/apply_command_stack_to_playlist.py

Don't fail if Playlist.unload() is called on an unloaded Curve.

Double initial guess for the surface kink position.

The previous algorithm would fail for curves if
1) They didn't have many tension features to stretch out the range.
2) The contact slope "softened" a bit in the kink region.

For example, try it on most of the test/vclamp_picoforce data ;).

The new algorithm works perfectly on the ideal, boring curve:
    _______
   /
  /

Keep Playlist._loaded up to date on Curve.unload() calls.

Add 'command stack' to list of ignored commands in propertyeditor.py

Added logging to hooke.util.callback's callback routines.

Oops, the CommandMessage.explicit_user_call, not Command.explicit_user_call.

Fixes bug from daf1c9f9c8e1.

Added hooke.util.caller.caller_names() for minimal stack traces.

Added CommandStack.explicit_user_call to distinguish user- from UI-generated calls.

More robust guess for `zero surface contact point` + fit check arguments

Add PyYAML to doc/install.txt and doc/hacking.txt dependency lists.

Extend JPK v0.5 parsing back to 0.3 and 0.4 file formats.

On Mon, Aug 23, 2010 at 02:15:08PM +0200, Michael Haggerty wrote:
> The fundamentals of our file format has not changed much since it was
> introduced.  Most of the changes involve metadata, such as how we
> describe force spectroscopy scanning patterns, that are not even
> described in the document that I sent you.

Remove ._on_notebook_page_close binding for the removed notebook GUI panel.

Restore HookeFrame.select_plugin (was removed in 29866287a21e).

Cleaned non-folders-panel cruft methods out of hooke.ui.gui.HookeFrame

Update view menu checkbox on pane-close button activity.

Shift function key accelerators down by one (from F5 and up to F4 and up).

Despite the stated range of F1 through F12
  http://docs.wxwidgets.org/2.8/wx_wxmenu.html#wxmenuappend
F10 seems to open the &File menu instead of toggling its panel's
visibility.  This is possibly related to
  http://trac.wxwidgets.org/ticket/2404

Add menu title hotkeys to the GUI.

From
  http://wiki.wxwidgets.org/Beech:Using_controls#Adding_a_Menu_Bar
we have
  "Note how the ampersand ("&") is used in strings like "E&xit" and
  "&File". This indicates which character in a menubar or menu will be
  the menu hotkey."

Save dtypes to YAML (now we only drop ndarrays).

Add hooke.util.yaml.data_constructor to rebuild hooke.curve.Data.info.

Save nicely scaled WLC parameters to the fit dict in polymer_fit.py.

Updated test/ to match the new explicit YAML format.

And other minor tweaks to get things passing again.
  $ nosetests --with-doctest --doctest-tests -vv test/ 2>&1 | less
  ...
  Ran 27 tests in 43.349s

  OK

Note that the tutorial.py and note.py tests were going so slowly
before (but are fast again now) because I was (re)loading
playlist/curve/etc. items in .__setstate__, when they are supposed to
be set with `listitems`.  If you're going to go messing around with
__getstate__ or __setstate__, it would be a good idea to read
  http://www.python.org/dev/peps/pep-0307/
(especially Case 2 and Case 3) *carefully* before wasting a bunch
of time and confusion bungling around like I did ;).

Add `name playlist' command.

To avoid collisions if you load the same playlist twice, etc.

Upgrade test/data/ playlists to new explicit YAML format.

Stay on top of Curve.set_hooke() so we can run CommandStacks.

Remove debugging printout from hooke.playlist.load.

Cleaned up hooke.playlist.load() and its use in `load playlist`.

Adjust Hooke internals to use unsafe YAML (not just builtin Python types).

Pros:
* More explicit YAML.
* Simple, robust code.
* Easily (de)serialize everything, regardless of nesting, etc.
Cons:
* Uglier YAML.

After wrestling with a yaml.safe_dump()able representation, I've given
up and shifted to yaml.dump().  Now we can dump anything easily, which
is great :).  For example, this will allow you to access polymer fit
parameters.  However, there will be things like
  !!python/object/new:hooke.playlist.FilePlaylist
in the output YAML files.  Such is life.

While I was at it, I ran
  $ nosetests --with-doctest --doctest-tests hooke/ 2>&1 | log
and cleaned up a number of the doctests.  Now the only things that
fail in there are the yet-to-be-upgraded submods left over from before
my rewrite.

I haven't checked test/ recently, that's next ;).

Fix hooke.util.yaml handling of assorted numpy.dtypes.

Fix polymer fit info name

Don't ignore Curve.data in playlist serialization (now that we have hooke.util.yaml).

Added command_stack option to all' default.

Clear NoteIndexList in .__setstate__ to avoid doubling items during engine->UI passing.

Fix to plugin experiment checks after 8687bbf30e87.

Fix item -> items() bug in command_stack.py (now loaded curve playlist serialization works!)

Added hooke.util.yaml fixing YAML/NumPy type issues (by dropping data).

Tracked down problems saving playlists with loaded curves to numpy.dtype

Demonstrate issue 1062277 if you serialize the command stack first

Add doctests proving recursive curve->command_stack->arguments->curve serializing works

Remove CommandStack.__getstate__ to avoid type ambiguity for command arguments.

Oops, store the serialized Experiment in state not self.info.

Serialize hooke.experiment.Experiment instances in Curves.

Also use singleton instances of the classes rather than the classes
themselves.  This will allow usage of isinstance() rather than
.__mro__ to determine experiment type.

Add hooke.playlist.Playlists for better playlist serialization.

Remove trailing blank lines from vclamp_picoforce/README

Transition from v0.1 XML playlists to v0.2 YAML playlists.

All test/ tests pass except for tutorial.py and note.py, which take
forever to run.  I'm going to figure out what's going on there next.

Anyone with old playlist files can either upgrade by hand (the new
syntax is pretty simple, see the playlists under test/data/ for
examples), or use the automatic script
  contrib/upgrade_playlist_0p1.py
which converts the playlists automatically.  The output from the
upgrade script is, like most auto-generated files, less concise
than a hand coded playlist, but it will work just fine.

For an introduction to YAML, see
  http://www.yaml.orlg/
which contains links YAML libraries in a number of languages.  The
playlists are generated with PyYAML
  http://pyyaml.org/
which handles YAML 1.1
  http://yaml.org/spec/1.1/
The Hooke playlist format is pretty simple, so it shouldn't be too
strongly tied to any particular version of YAML, although I haven't
actually tested it with a 1.0 or 1.2 parser.

Name Hemingway data blocks so they may be viewed in the GUI.

Use 'Indexes' to split MFP3D curves into blocks.

First attempt at temperature extraction for MFP3D (+ convert spring constant to float).

Attach raw info etc. to curve in MFP3D driver (used to be just data blocks).

Convert JPK deflection sign to follow Hooke convention.

Fast curve review seems to be a GUI-specific feature.

Command line UI now handles EOF during request/response interactions.

For example
  $ echo | ./bin/hk.py -c 'new_playlist'
                       -c 'glob_curves_to_playlist test/data/*' --persist
used to loop forever thinking it was getting invalid responses to
  Exit? [y/N]

Also, change str() to unicode() in DoCommand.__call__ to handle
non-ascii messages (e.g. µ (micro) from SI units).

Remove debugging printout from JPK driver

Convert all channels to their default calibration in the JPK driver.

The previous implementation only scaled height and vDeflection, which
meant that the other unscaled (and therefore unitless) columns broke
distance formatting commands (e.g. 'point info').

Set filetype and experiment fields in JPK driver.

Push GUI config setting changes to the engine process' Hooke.

Ran update_copyright.py, which fixed some spellcheck errors in hooke/plugin/curve.py

Flesh out command stack execution.

'new playlist' now puts the new playlist into outqueue (see fafab694b2dc)

Set Curve._hooke after joining engine in HookeRunner (see f2bdd7aa2269)

Remove duplicate Command arguments (e.g. help, stack) from FlatFilterCommand

Log the troublesome command for command line option conflicts.

Patch GUI to handle 'new playlist' and 'glob curves to playlist'

Allow flattening of path-less playlists for  command.

Point out in doc/gui.txt that the folders panel is still unimplemented

Copy spring constant into block info in JPK driver.

Although JPK's curve-level spring constant makes more sense.  Perhaps
I will convert all drivers to store it there in the future.

Added 'Command stack' section to doc/tutorial.txt

Update WLC/FJC fitting section of doc/tutorial.txt

Update distance-measurement sections of doc/tutorial.txt and doc/gui.txt

Remove export and distance sections from test/tutorial.py (they duplicate other test/*s).

Use UUID in test/config.py's output file name.

Broke config section of test/tutorial.py out into test/config.py

Added 'save config'.  Adjusted test/tutorial.py (and test/ in general) passes.

Update test/flat_filter_playlist.py to explicitly specify input columns.

Use 'simple' conversion handler to process 'file'-type JPK conversions.

Michael Haggerty at JPK pointed out that the information from the
external file was already stored in the curve file.  He also confirmed
that my interpretation of the external calibration file format was
correct, although that no longer matters now that I've just removed
the 'file'-specific conversion code.

Make file-format-version=0.5 support explicit in JPKDriver

Confirm big-endian binary data format for JPK files.

Michael Haggerty, JPK's head of software development, sent me their
file specs.  I'll add the specs themselves to our version control if I
get permission from them.

Add test/note.py and adjust playlist handling so NoteFilterCommand works again.

Added hooke.util.itertools with reverse_enumerate

Don't save Curve._hooke when pickling or deepcopying.

Two reasons:
1) It crashes because hooke.config._comment_textwrap contains a
   compiled regexp, and these cannot be deepcopied.  See
     http://mail.python.org/pipermail/python-dev/2008-November/083348.html
     http://bugs.python.org/issue416670
2) We don't want to copy Hooke instances anyway, since we need them to stay
   in sync.  Anything copying curves (e.g. Playlist.filter) should shallow
   copy Hooke instances between the curves.
If this turns up anywhere else, we should think about adding a
Curve.copy method to get the "just right" copy depth ;).

Adjust test/tutorial.py to account for 4f4640207a50

Adjust test/polynomial_flatten.py to account for 01ff9349a0c6

Adjust test/flat_filter_peaks.py to account for 01ff9349a0c6

Upgraded hooke.plugin.polymer_fit commands to ColumnAddingArgument subclasses.

Now the following command works:

    $ bin/hk.py
        -c 'load_playlist test/data/test'
        -c 'zero_surface_contact_point --block retract'
        -c 'flat_filter_peaks --block retract --min_points 1'
        -c 'zero_surface_contact_point --block retract
                --ignore_after_last_peak_info_name "flat filter peaks"'
        -c 'convert_distance_to_force --block retract
                --deflection_column "surface deflection (m)"'
        -c 'remove_cantilever_from_extension --block retract'
        -c 'flat_peaks_to_polymer_peaks --block retract'
        -c 'polymer_fit_peaks --block retract'
        -c 'export_block --block retract --output myblock.dat'
        --persist

See related commands in 725a18055518 and 27bf3c1e98e1.

Point to config.txt rather than hardcoding hooke.cfg in doc/gui.txt

Rewrap a line in test/zero_surface_contact_point.py

Apply constant offset to contact region in 'polynomial flatten' to avoid discontinuity

Fix playlist filename preservation for 'load playlist' and 'new playlist'

Move NoteFilterCommand from plugin.playlist to plugin.note.

Added test/tutorial.py.  Works until you get to note_filter_playlist

Mention playlist navigation commands in doc/tutorial.txt

Fix existing Driver.is_me's crashes if path is a directory.

I didn't add this at the curve level, since it seems reasonable that
someone might develop a curve format where the 'file' is a directory.

Log a warning (rather than raising a Failure) on glob-loading a non-curve

Updated tutorial's new_playlist call for new PlaylistAddingCommand syntax