Use 'simple' conversion handler to process 'file'-type JPK conversions.

Michael Haggerty at JPK pointed out that the information from the
external file was already stored in the curve file.  He also confirmed
that my interpretation of the external calibration file format was
correct, although that no longer matters now that I've just removed
the 'file'-specific conversion code.

Make file-format-version=0.5 support explicit in JPKDriver

Confirm big-endian binary data format for JPK files.

Michael Haggerty, JPK's head of software development, sent me their
file specs.  I'll add the specs themselves to our version control if I
get permission from them.

Add test/note.py and adjust playlist handling so NoteFilterCommand works again.

Added hooke.util.itertools with reverse_enumerate

Don't save Curve._hooke when pickling or deepcopying.

Two reasons:
1) It crashes because hooke.config._comment_textwrap contains a
   compiled regexp, and these cannot be deepcopied.  See
     http://mail.python.org/pipermail/python-dev/2008-November/083348.html
     http://bugs.python.org/issue416670
2) We don't want to copy Hooke instances anyway, since we need them to stay
   in sync.  Anything copying curves (e.g. Playlist.filter) should shallow
   copy Hooke instances between the curves.
If this turns up anywhere else, we should think about adding a
Curve.copy method to get the "just right" copy depth ;).

Adjust test/tutorial.py to account for 4f4640207a50

Adjust test/polynomial_flatten.py to account for 01ff9349a0c6

Adjust test/flat_filter_peaks.py to account for 01ff9349a0c6

Upgraded hooke.plugin.polymer_fit commands to ColumnAddingArgument subclasses.

Now the following command works:

    $ bin/hk.py
        -c 'load_playlist test/data/test'
        -c 'zero_surface_contact_point --block retract'
        -c 'flat_filter_peaks --block retract --min_points 1'
        -c 'zero_surface_contact_point --block retract
                --ignore_after_last_peak_info_name "flat filter peaks"'
        -c 'convert_distance_to_force --block retract
                --deflection_column "surface deflection (m)"'
        -c 'remove_cantilever_from_extension --block retract'
        -c 'flat_peaks_to_polymer_peaks --block retract'
        -c 'polymer_fit_peaks --block retract'
        -c 'export_block --block retract --output myblock.dat'
        --persist

See related commands in 725a18055518 and 27bf3c1e98e1.

Point to config.txt rather than hardcoding hooke.cfg in doc/gui.txt

Rewrap a line in test/zero_surface_contact_point.py

Apply constant offset to contact region in 'polynomial flatten' to avoid discontinuity

Fix playlist filename preservation for 'load playlist' and 'new playlist'

Move NoteFilterCommand from plugin.playlist to plugin.note.

Added test/tutorial.py.  Works until you get to note_filter_playlist

Mention playlist navigation commands in doc/tutorial.txt

Fix existing Driver.is_me's crashes if path is a directory.

I didn't add this at the curve level, since it seems reasonable that
someone might develop a curve format where the 'file' is a directory.

Log a warning (rather than raising a Failure) on glob-loading a non-curve

Updated tutorial's new_playlist call for new PlaylistAddingCommand syntax

Use input name in 'new playlist' and 'load playlist' if p.name == None.

Cleanups to playlist name handling in 'load playlist'.

Also:
* push new curves to outqueue during 'glob curves to playlist'.
* 'new playlist' transitioned to a subclass of PlaylistAddingCommand.

Lowercase initial word in some log messages.

Add "or '.'" after dirname() calls in hooke.command_stack and .playlist.

Because
  >>> import os.path
  >>> os.path.dirname('some-file')
  ''
  >>> os.path.dirname('some-file') or '.'
  '.'
and
  >>> import os
  >>> os.makedirs('')
  Traceback (most recent call last):
    ...
  OSError: [Errno 2] No such file or directory: ''

bin/hooke -> bin/hk.py in setup.py.  Thanks to amantedpaz for pointing this out.

Bring doc/config.txt up to speed

Added command stack saving and loading.

Replace .config rather than reconstructing plugins, drivers, and UIs.

The previous implementation destroyed any state the plugins, etc. were
holding.  For example, it cleared CommandStackPlugin.command_stack.

Fix p name collision bug in plugin.playlist.LoadCommand._run

Add logging import to hooke.ui

Update (don't re-add) already loaded playlists in HookeFrame._postprocess_playlists

Don't process unhandled arguments (e.g. 'driver') in HookeFrame.execute_command

Fix self.command.name -> command.name in gui.HookeFrame.execute_command

Fix toolbar -> self._c['toolbar'] in gui.panel.plot on MS Windows.

Oops, protect hk.py's hooke.main() call with if __name__ == '__main__'.

*This* fixes amantedpaz' crash ;).

Renamed bin/hooke -> bin/hk.py.

This fixes amantedpaz' crash from
  http://code.google.com/p/hooke/issues/detail?id=40#c17
It turned out to not be related to issue8534, as I'd originally thought.

The crash looked like:
  C:\hooke>c:\python26\python bin/hooke
  ...
  Traceback (most recent call last):
    File "<string>", line 1, in <module>
    File "c:\python26\lib\multiprocessing\forking.py", line 341, in main
      prepare(preparation_data)
    File "c:\python26\lib\multiprocessing\forking.py", line 450, in prepare
      file, path_name, etc = imp.find_module(main_name, dirs)
  ImportError: No module named hooke
  ...

Fleshed out hooke.plugin.command_stack except for save/load

Remove superfluous doctest comment from test/load_playlist.py

Lowercase initial word in some log messages.

Consolidate UI command submission to hooke.ui.UserInterface._submit_command().

Currently this just ensures standardized logging, but eventually it
will allow us to easily record command histories in a UI-agnostic way.

Removed hooke.compat.forking since issue8534 can't be monkey patched.

You'll have to apply simonsteiner's issue8534 patch
  http://bugs.python.org/file17092/forking.patch
to your Python's multiprocessing.forking by hand (on MS Windows).  See
  http://bugs.python.org/issue8534
  http://docs.python.org/library/multiprocessing.html#windows

Here's what happens on Linux:
  1) main program starts running
  2) monkey patch applied
  3) multiprocessing.Process() forks off the subprocess.
    a) child process inherits parent's memory, getting all currently
       imported libraries for free.
    b) child process continues successful run.
  4) main process continues successful run.

Here's what happens on MS Windows:
  1) main program starts running
  2) monkey patch applied
  3) multiprocessing.Process() spawns subprocess, feeding its pickling
     state to the child through the connecting socket.
    a) child process starts, loading (unpatched) base Python libraries
       to figure out what it should do.
    b) child process starts reading pickled parent state.
    c) child process attempts to find hooke to unpickle parent state.
    d) child process cannot find hooke (with unpatched
       multiprocessing) and dies.
  4) main process dies from lack of child.

After applying simonsteiner's issue8534 patch, Windows looks like:
  1) main program starts running
  2) multiprocessing.Process() spawns subprocess, feeding its pickling
     state to the child through the connecting socket.
    a) child process starts, loading (patched) base Python libraries
       to figure out what it should do.
    b) child process starts reading pickled parent state.
    c) child process attempts to find hooke to unpickle parent state.
    d) child process loads hooke.
    e) child process continues successful run.
  3) main process continues successful run.

Added log warnings on monkey patch imports

Use the playlist's basename if it doesn't colide with earlier playlists.

Remove PlaylistArgument from plugin.playlist.SaveCommand now that it's a PlaylistCommand

Added hooke.plugin.playlist.ApplyCommandStack and related changes.

Highlights:
* Added test/apply_command_stack.py testing the new command.
* Added hooke.plugin.playlist.PlaylistCommand mirroring CurveCommand.
* Added hooke.plugin.playlist.AddingPlaylistCommand mirroring
  ColumnAddingCommand.
* Renamed CommandStack._execute -> .execute_command since it may be
  used externally.
* Changed assorted log messages to use CommandMessage string-ification.
* Set Hooke.engine to None in the UI process.
* Set ._index during NoteIndexList.items() iteration.

Added nicer CommandMessage string-ification methods

Rename ./bin/hooke's --command-no-exit to --persist.

Inspired by the similar gnuplot option.  Certainly less awkward than
our old option.

Remove unnecessary doctest comments from test/get_curve.py

Adjust test/get_curve.py for Curve.__str__, etc. changes in d2317379f775

Fix .split() -> .strip() typo in 'output peak column' arg for FlatPeaksCommand

Add hooke.compat.forking to fix Python's ImportError issue8534.

multiprocessing can have problems importing modules from child processes.  See
  http://bugs.python.org/issue8534
  http://code.google.com/p/hooke/issues/detail?id=40#c17
Importing hooke.compat.forking fixes this bug dynamically.

Add successful Curve.command_stack maintenance.

Now commands successfully track CurveCommands applied to them, and run
them again when they're reloaded.  Still to do:
* save/load .command_stacks with the playlist
* hooke.plugin.command_stack

Move LocalHelpCommand and LocalExitCommand from ui.commandline to plugin.engine.

It's not a good idea to have UI-specific commands that get sent down
to the CommandEngine.

Add --save-config to bin/hooke and don't silently save config file.

With the old implementation, setting --debug once would effectively
set it for all future calls :p.  There should be an explicit 'save
config' command if the user wishes to do so.

Change CommandMessage.command from Command instance to command's name.

No sense in building up large numbers of Command copies if you're
passing CommandMessages through a multiprocess.Queue and storing them
in CommandStacks.

Add --debug option to bin/hooke and log CommandEngine.run_command()

Added CurveEngine.run_command and reorganized CommandStack._execute

Initial work on hooke.command_stack and hooke.playlist integration.

The current problem is figuring out how to run commands from a Curve
without Curves knowing about Hooke or CommandEngine instances.

Remove superfluous ..plugin from imports in hooke.plugin.*

We'll keep most command stack functionality in a new hooke.command_stack

Moved QueueMessage and subclasses from hooke.ui to the more central hooke.engine.

Remove superflous ~ from flatfilt docstring.

Renamed hooke.plugin.macro -> hooke.plugin.command_stack

Restored hooke.plugin.macro from revision a008bd5c28ca.

It had been removed in the subsequent commit:
  changeset:   519:928a1a2f6041
  branch:      wtk
  user:        W. Trevor King <wking@drexel.edu>
  date:        Sat Aug 07 11:45:12 2010 -0400
  files:       conf/macro.conf hooke/plugin/__init__.py hooke/plugin/macro.py
  description: Remove macro plugin.
  ...

In the commit comments, I explain that the hooke command line lacks
flexibility for function definition (e.g. no variables).  However, you
can do a number of things by chaining commands together, so I'm
bringing back the macro plugin.  I intend to reimagine macros as
editable "command stacks", which will allow for
* flexible loops
* undo/redo recent changes
* preserving processing through playlist save/load cycles.

This will get us most of the way to the goals expressed in commit
725a18055518 and a useful Hooke :).

Updated FlatFilterCommand's argument handling.

More detailed misnamed column error in ColumnAccessCommand._get_column

Fix '@Sens. ZSensorSens' KeyError loading picoforce 0x07200000 curves.

Regression from 93e0e4284534.  Of course, we still don't know where
the z-data is in the 0x07200000 curves,
  http://code.google.com/p/hooke/issues/detail?id=26#c4
so its hard to know if this is the right sensitivity.  It doesn't
crash anyway...

Updated FlatPeaksCommand to ColumnAddingCommand.

Updated vclamp to use new ColumnAddingCommand.

Also added 'ignore after last peak info name' argument to
SurfaceContactCommand"

This allows for the two-cycle surface detection mentioned in commit
725a18055518.

  ./bin/hooke -c 'load_playlist test/data/vclamp_wtk/playlist'
              -c 'zero_surface_contact_point --block retract'
              -c 'flat_filter_peaks --block retract --min_points 1'
              -c 'zero_surface_contact_point --block retract
              --ignore_after_last_peak_info_name "flat filter peaks"'
              -c 'convert_distance_to_force --block retract'
              -c 'remove_cantilever_from_extension --block retract'
              -c 'flat_peaks_to_polymer_peaks --block retract'
              -c 'polymer_fit_peaks --block retract' --command-no-exit

Note that `flat filter peaks`, `flat peaks to polymer peaks`, and
`polymer fit peaks` still need to be updated to ColumnAddingCommand
subclasses.  Also, I might be missing a few column renames in the
above command.  I'll include a working (and tested) command once I get
the other plugins up to speed with ColumnAddingCommand.

Add CurveCommand, BlockCommand, ColumnAccessCommand, and ColumnAddingCommand.

Added to hooke.plugin.curve.  These abstract out the boring
bookkeeping from many commands (so far only the ones in plugin.curve).

Also add test/derivative.py and rework hooke.util.calculus.derivative
to be less block-centric.

Add test/difference.py

Add test/export_block.py

Add test/delta.py

Add test/get_curve.py

Remove outdated type TODOs from hooke/command (conversion handled by UIs).

Print tutorial init message to stderr so it won't interfere with doctests.

e.g.
  nosetests --with-doctest --doctest-tests test/curve_info.py

Allow fallback to XeX notation for efor extreme powers in ppSI

Remove post-fit L/N conversions from polymer_fit.py (handled in .fit() now).

Add 'ignore index' argument to SurfaceContactCommand

We don't seem to need to guess the scale in SurfacePositionModel

Update ModelFitters in polymer_fit.py to match new diag/scale interpretation.

Update SurfacePositionModel to match new diag/scale interpretation.

Oops, correct my faulty interpretation of leastsq's 'diag' argument in fit.py

Add TranslateFlatPeaksCommand.

This completes a simple velocity clamp force analysis approach.  Consider:

  ./bin/hooke -c 'load_playlist test/data/test'
              -c 'zero_block_surface_contact_point --block 1'
              -c 'add_flattened_extension_array --block 1 --max_degree 1
                      --input_deflection_column "surface deflection (m)"'
              -c 'add_block_force_array --block 1
                      --input_deflection_column "flattened deflection (m)"'
              -c 'add_block_cantilever_adjusted_extension_array --block 1'
              -c 'flat_filter_peaks --min_points 1'
              -c 'flat_peaks_to_polymer_peaks --block 1'
              -c 'polymer_fit_peaks --block 1'
              --command-no-exit

Still to come:
* Better contact point fitting or flattening, since the above method
  currently does a pretty bad job with the actual WLCs.  Perhaps a
  WLC-based zeroing could lead a second fitting iteration.
* A way to apply grouped commands like this to each curve in a playlist.
* Saving dicts in the playlist format or changing formats so the WLC
  fitting parameters are accessible for further analysis (e.g. with
  sawsim: http://dx.doi.org/10.1016/j.ijbiomac.2009.12.001 ).

Adjust GUI initialization to handle already loaded playlists (via --command-no-exit, etc.)

Fix tree method exposure in playlist GUI pansl

Add --command-no-exit to bin/hooke, making hardcoded testing calls to execute_command() in gui superfluous.

Log execution debug messages from the commandline UI (matching the GUI).

Set hand1 logging handler level to WARN by default (avoids DEBUG clutter, etc.)

Log warning for invalid section/option settings

Use numpy.nan to hide unfit portions of polymer tension columns.

Make ModelFitter._data_scale_factor determination more robust with wierd data.

Add 'polymer fit' error reporting to PolymerFitPeaksCommand

Added PolymerFitPeaksCommand to hooke.plugin.polymer_fit

Collapse None entries for Argument.count == -1 in the GUI

Enable hackish support for Argument.count == -1 (by setting it to 3)

Update FlatPeaksCommand to use flexible column names.

Better None-handling in convert and propertyeditor

Allow None values for plot clicks or SI values

Allow commandline to load without readline for non-Unix systems