Adjust Hooke internals to use unsafe YAML (not just builtin Python types).

Pros:
* More explicit YAML.
* Simple, robust code.
* Easily (de)serialize everything, regardless of nesting, etc.
Cons:
* Uglier YAML.

After wrestling with a yaml.safe_dump()able representation, I've given
up and shifted to yaml.dump().  Now we can dump anything easily, which
is great :).  For example, this will allow you to access polymer fit
parameters.  However, there will be things like
  !!python/object/new:hooke.playlist.FilePlaylist
in the output YAML files.  Such is life.

While I was at it, I ran
  $ nosetests --with-doctest --doctest-tests hooke/ 2>&1 | log
and cleaned up a number of the doctests.  Now the only things that
fail in there are the yet-to-be-upgraded submods left over from before
my rewrite.

I haven't checked test/ recently, that's next ;).

Fix hooke.util.yaml handling of assorted numpy.dtypes.

Fix polymer fit info name

Don't ignore Curve.data in playlist serialization (now that we have hooke.util.yaml).

Added command_stack option to all' default.

Clear NoteIndexList in .__setstate__ to avoid doubling items during engine->UI passing.

Fix to plugin experiment checks after 8687bbf30e87.

Fix item -> items() bug in command_stack.py (now loaded curve playlist serialization works!)

Added hooke.util.yaml fixing YAML/NumPy type issues (by dropping data).

Tracked down problems saving playlists with loaded curves to numpy.dtype

Demonstrate issue 1062277 if you serialize the command stack first

Add doctests proving recursive curve->command_stack->arguments->curve serializing works

Remove CommandStack.__getstate__ to avoid type ambiguity for command arguments.

Oops, store the serialized Experiment in state not self.info.

Serialize hooke.experiment.Experiment instances in Curves.

Also use singleton instances of the classes rather than the classes
themselves.  This will allow usage of isinstance() rather than
.__mro__ to determine experiment type.

Add hooke.playlist.Playlists for better playlist serialization.

Remove trailing blank lines from vclamp_picoforce/README

Transition from v0.1 XML playlists to v0.2 YAML playlists.

All test/ tests pass except for tutorial.py and note.py, which take
forever to run.  I'm going to figure out what's going on there next.

Anyone with old playlist files can either upgrade by hand (the new
syntax is pretty simple, see the playlists under test/data/ for
examples), or use the automatic script
  contrib/upgrade_playlist_0p1.py
which converts the playlists automatically.  The output from the
upgrade script is, like most auto-generated files, less concise
than a hand coded playlist, but it will work just fine.

For an introduction to YAML, see
  http://www.yaml.orlg/
which contains links YAML libraries in a number of languages.  The
playlists are generated with PyYAML
  http://pyyaml.org/
which handles YAML 1.1
  http://yaml.org/spec/1.1/
The Hooke playlist format is pretty simple, so it shouldn't be too
strongly tied to any particular version of YAML, although I haven't
actually tested it with a 1.0 or 1.2 parser.

Name Hemingway data blocks so they may be viewed in the GUI.

Use 'Indexes' to split MFP3D curves into blocks.

First attempt at temperature extraction for MFP3D (+ convert spring constant to float).

Attach raw info etc. to curve in MFP3D driver (used to be just data blocks).

Convert JPK deflection sign to follow Hooke convention.

Fast curve review seems to be a GUI-specific feature.

Command line UI now handles EOF during request/response interactions.

For example
  $ echo | ./bin/hk.py -c 'new_playlist'
                       -c 'glob_curves_to_playlist test/data/*' --persist
used to loop forever thinking it was getting invalid responses to
  Exit? [y/N]

Also, change str() to unicode() in DoCommand.__call__ to handle
non-ascii messages (e.g. µ (micro) from SI units).

Remove debugging printout from JPK driver

Convert all channels to their default calibration in the JPK driver.

The previous implementation only scaled height and vDeflection, which
meant that the other unscaled (and therefore unitless) columns broke
distance formatting commands (e.g. 'point info').

Set filetype and experiment fields in JPK driver.

Push GUI config setting changes to the engine process' Hooke.

Ran update_copyright.py, which fixed some spellcheck errors in hooke/plugin/curve.py

Flesh out command stack execution.

'new playlist' now puts the new playlist into outqueue (see fafab694b2dc)

Set Curve._hooke after joining engine in HookeRunner (see f2bdd7aa2269)

Remove duplicate Command arguments (e.g. help, stack) from FlatFilterCommand

Log the troublesome command for command line option conflicts.

Patch GUI to handle 'new playlist' and 'glob curves to playlist'

Allow flattening of path-less playlists for  command.

Point out in doc/gui.txt that the folders panel is still unimplemented

Copy spring constant into block info in JPK driver.

Although JPK's curve-level spring constant makes more sense.  Perhaps
I will convert all drivers to store it there in the future.

Added 'Command stack' section to doc/tutorial.txt

Update WLC/FJC fitting section of doc/tutorial.txt

Update distance-measurement sections of doc/tutorial.txt and doc/gui.txt

Remove export and distance sections from test/tutorial.py (they duplicate other test/*s).

Use UUID in test/config.py's output file name.

Broke config section of test/tutorial.py out into test/config.py

Added 'save config'.  Adjusted test/tutorial.py (and test/ in general) passes.

Update test/flat_filter_playlist.py to explicitly specify input columns.

Use 'simple' conversion handler to process 'file'-type JPK conversions.

Michael Haggerty at JPK pointed out that the information from the
external file was already stored in the curve file.  He also confirmed
that my interpretation of the external calibration file format was
correct, although that no longer matters now that I've just removed
the 'file'-specific conversion code.

Make file-format-version=0.5 support explicit in JPKDriver

Confirm big-endian binary data format for JPK files.

Michael Haggerty, JPK's head of software development, sent me their
file specs.  I'll add the specs themselves to our version control if I
get permission from them.

Add test/note.py and adjust playlist handling so NoteFilterCommand works again.

Added hooke.util.itertools with reverse_enumerate

Don't save Curve._hooke when pickling or deepcopying.

Two reasons:
1) It crashes because hooke.config._comment_textwrap contains a
   compiled regexp, and these cannot be deepcopied.  See
     http://mail.python.org/pipermail/python-dev/2008-November/083348.html
     http://bugs.python.org/issue416670
2) We don't want to copy Hooke instances anyway, since we need them to stay
   in sync.  Anything copying curves (e.g. Playlist.filter) should shallow
   copy Hooke instances between the curves.
If this turns up anywhere else, we should think about adding a
Curve.copy method to get the "just right" copy depth ;).

Adjust test/tutorial.py to account for 4f4640207a50

Adjust test/polynomial_flatten.py to account for 01ff9349a0c6

Adjust test/flat_filter_peaks.py to account for 01ff9349a0c6

Upgraded hooke.plugin.polymer_fit commands to ColumnAddingArgument subclasses.

Now the following command works:

    $ bin/hk.py
        -c 'load_playlist test/data/test'
        -c 'zero_surface_contact_point --block retract'
        -c 'flat_filter_peaks --block retract --min_points 1'
        -c 'zero_surface_contact_point --block retract
                --ignore_after_last_peak_info_name "flat filter peaks"'
        -c 'convert_distance_to_force --block retract
                --deflection_column "surface deflection (m)"'
        -c 'remove_cantilever_from_extension --block retract'
        -c 'flat_peaks_to_polymer_peaks --block retract'
        -c 'polymer_fit_peaks --block retract'
        -c 'export_block --block retract --output myblock.dat'
        --persist

See related commands in 725a18055518 and 27bf3c1e98e1.

Point to config.txt rather than hardcoding hooke.cfg in doc/gui.txt

Rewrap a line in test/zero_surface_contact_point.py

Apply constant offset to contact region in 'polynomial flatten' to avoid discontinuity

Fix playlist filename preservation for 'load playlist' and 'new playlist'

Move NoteFilterCommand from plugin.playlist to plugin.note.

Added test/tutorial.py.  Works until you get to note_filter_playlist

Mention playlist navigation commands in doc/tutorial.txt

Fix existing Driver.is_me's crashes if path is a directory.

I didn't add this at the curve level, since it seems reasonable that
someone might develop a curve format where the 'file' is a directory.

Log a warning (rather than raising a Failure) on glob-loading a non-curve

Updated tutorial's new_playlist call for new PlaylistAddingCommand syntax

Use input name in 'new playlist' and 'load playlist' if p.name == None.

Cleanups to playlist name handling in 'load playlist'.

Also:
* push new curves to outqueue during 'glob curves to playlist'.
* 'new playlist' transitioned to a subclass of PlaylistAddingCommand.

Lowercase initial word in some log messages.

Add "or '.'" after dirname() calls in hooke.command_stack and .playlist.

Because
  >>> import os.path
  >>> os.path.dirname('some-file')
  ''
  >>> os.path.dirname('some-file') or '.'
  '.'
and
  >>> import os
  >>> os.makedirs('')
  Traceback (most recent call last):
    ...
  OSError: [Errno 2] No such file or directory: ''

bin/hooke -> bin/hk.py in setup.py.  Thanks to amantedpaz for pointing this out.

Bring doc/config.txt up to speed

Added command stack saving and loading.

Replace .config rather than reconstructing plugins, drivers, and UIs.

The previous implementation destroyed any state the plugins, etc. were
holding.  For example, it cleared CommandStackPlugin.command_stack.

Fix p name collision bug in plugin.playlist.LoadCommand._run

Add logging import to hooke.ui

Update (don't re-add) already loaded playlists in HookeFrame._postprocess_playlists

Don't process unhandled arguments (e.g. 'driver') in HookeFrame.execute_command

Fix self.command.name -> command.name in gui.HookeFrame.execute_command

Fix toolbar -> self._c['toolbar'] in gui.panel.plot on MS Windows.

Oops, protect hk.py's hooke.main() call with if __name__ == '__main__'.

*This* fixes amantedpaz' crash ;).

Renamed bin/hooke -> bin/hk.py.

This fixes amantedpaz' crash from
  http://code.google.com/p/hooke/issues/detail?id=40#c17
It turned out to not be related to issue8534, as I'd originally thought.

The crash looked like:
  C:\hooke>c:\python26\python bin/hooke
  ...
  Traceback (most recent call last):
    File "<string>", line 1, in <module>
    File "c:\python26\lib\multiprocessing\forking.py", line 341, in main
      prepare(preparation_data)
    File "c:\python26\lib\multiprocessing\forking.py", line 450, in prepare
      file, path_name, etc = imp.find_module(main_name, dirs)
  ImportError: No module named hooke
  ...

Fleshed out hooke.plugin.command_stack except for save/load

Remove superfluous doctest comment from test/load_playlist.py

Lowercase initial word in some log messages.

Consolidate UI command submission to hooke.ui.UserInterface._submit_command().

Currently this just ensures standardized logging, but eventually it
will allow us to easily record command histories in a UI-agnostic way.

Removed hooke.compat.forking since issue8534 can't be monkey patched.

You'll have to apply simonsteiner's issue8534 patch
  http://bugs.python.org/file17092/forking.patch
to your Python's multiprocessing.forking by hand (on MS Windows).  See
  http://bugs.python.org/issue8534
  http://docs.python.org/library/multiprocessing.html#windows

Here's what happens on Linux:
  1) main program starts running
  2) monkey patch applied
  3) multiprocessing.Process() forks off the subprocess.
    a) child process inherits parent's memory, getting all currently
       imported libraries for free.
    b) child process continues successful run.
  4) main process continues successful run.

Here's what happens on MS Windows:
  1) main program starts running
  2) monkey patch applied
  3) multiprocessing.Process() spawns subprocess, feeding its pickling
     state to the child through the connecting socket.
    a) child process starts, loading (unpatched) base Python libraries
       to figure out what it should do.
    b) child process starts reading pickled parent state.
    c) child process attempts to find hooke to unpickle parent state.
    d) child process cannot find hooke (with unpatched
       multiprocessing) and dies.
  4) main process dies from lack of child.

After applying simonsteiner's issue8534 patch, Windows looks like:
  1) main program starts running
  2) multiprocessing.Process() spawns subprocess, feeding its pickling
     state to the child through the connecting socket.
    a) child process starts, loading (patched) base Python libraries
       to figure out what it should do.
    b) child process starts reading pickled parent state.
    c) child process attempts to find hooke to unpickle parent state.
    d) child process loads hooke.
    e) child process continues successful run.
  3) main process continues successful run.

Added log warnings on monkey patch imports

Use the playlist's basename if it doesn't colide with earlier playlists.

Remove PlaylistArgument from plugin.playlist.SaveCommand now that it's a PlaylistCommand

Added hooke.plugin.playlist.ApplyCommandStack and related changes.

Highlights:
* Added test/apply_command_stack.py testing the new command.
* Added hooke.plugin.playlist.PlaylistCommand mirroring CurveCommand.
* Added hooke.plugin.playlist.AddingPlaylistCommand mirroring
  ColumnAddingCommand.
* Renamed CommandStack._execute -> .execute_command since it may be
  used externally.
* Changed assorted log messages to use CommandMessage string-ification.
* Set Hooke.engine to None in the UI process.
* Set ._index during NoteIndexList.items() iteration.

Added nicer CommandMessage string-ification methods

Rename ./bin/hooke's --command-no-exit to --persist.

Inspired by the similar gnuplot option.  Certainly less awkward than
our old option.

Remove unnecessary doctest comments from test/get_curve.py

Adjust test/get_curve.py for Curve.__str__, etc. changes in d2317379f775

Fix .split() -> .strip() typo in 'output peak column' arg for FlatPeaksCommand

Add hooke.compat.forking to fix Python's ImportError issue8534.

multiprocessing can have problems importing modules from child processes.  See
  http://bugs.python.org/issue8534
  http://code.google.com/p/hooke/issues/detail?id=40#c17
Importing hooke.compat.forking fixes this bug dynamically.

Add successful Curve.command_stack maintenance.

Now commands successfully track CurveCommands applied to them, and run
them again when they're reloaded.  Still to do:
* save/load .command_stacks with the playlist
* hooke.plugin.command_stack

Move LocalHelpCommand and LocalExitCommand from ui.commandline to plugin.engine.

It's not a good idea to have UI-specific commands that get sent down
to the CommandEngine.