Markup corrections in doc/gui.txt

Finished remarking doc/gui.txt in Sphinx's reStructuredText.

Also moved hooke.plugin.plot to hooke.ui.gui.plugin.plot, since it was
breaking Sphinx compilation.

Merged Rolf Schmidt's illysam branch

Use numpy.loadtxt instead of newer numpy.genfromtxt in Hemingway driver.

From
  http://docs.scipy.org/doc/numpy/user/basics.io.genfromtxt.html
"In particular, genfromtxt is able to take missing data into account,
when other faster and simpler functions like loadtxt cannot"

We prefer loadtxt because:
  * It's faster and we don't need to handle missing data.
  * It's older (genfromtxt added in Numpy in 2009/01/19, released in
    v1.3.0), so it's more likely to be in the user's stock Numpy
    installation.

Moved hooke.driver.hemingclamp to hemingway and updated to new Driver architecture

Moved Closing from hooke.driver.jpk to hooke.util.util

Added calibration file support to the JPK driver.

I'm not sure about my interpretation of the calibration file format.
I've emailed JPK for clarification, so we'll see what they have to say.

Also:
* Check for 'filetype' attributes when loading playlists.  If it
  exists, try to load using the matching driver before going through
  the whole list of available drivers.  This should speed up checks
  for curves that were identified by some previous playlist activity
  (or by hand if the user is generating playlists from scratch).
* Pass curve info into Driver.read().  This allows playlist attributes
  to affect curve loading.  The particular example that motivated this
  was
    <CHANNEL-NAME>_<BASE-NAME>_to_<TARGET-NAME>_calibration_file
  for the JPK driver, but it is a good idea in general.  Experiment
  temperature should probably be set this way vs. its current global
  config setting.
* Added Driver.logger(), to reduce code duplication.

Use PEP 343's 'with' instead of try:/finally: x.close()

Bring hooke.config and hooke.util.peak doctests up to speed

Also override hooke.util.encoding.get_encoding in test/unicode_output.py

Import os.path when we use it in test/*_driver.py

Adjust test/wtk_driver.py since I didn't add all my original files.

Skip PoorFit curves in flatfilt and convfilt.

Avoid possible negative p[2] values in SurfacePositionModel.

Updated JPK driver for JPK's version 0.5 format and new driver architecture

Be slightly more path-seperator agnostic in test/*_driver.py

Add logger configuration options.

Removed redundant picoforcealt driver

Split out curve renaming to PicoForceDriver._replace_name

I still haven't gotten things working for the 0x07200000 data, but I'm
beginning to doubt the example file.  Things appear to work on the
0x06 data.

Added explicit pickle test and fixed curve.Data pickling.

I missunderstood how __reduce__ worked the first time.  Now there's a
doctest proving it works ;).

Adjust hooke.curve.Data so .info is picklable.

Otherwise it didn't survive the Queue between the UI and Engine
processes.  See
  http://mail.scipy.org/pipermail/numpy-discussion/2007-April/027193.html

Remove debugging trace files from hooke.driver.picoforce

Brought picoforce driver up to speed with 0x06130001 and 0x07200000

Extend test.mfp3d_driver to test both MFP3D file versions we have available.

Minor consistency cleanups in wtk and picoforce drivers

Brought mfp3d driver up to the new architecture.

The new implementation is also cleaner and more robust.

Added post-data optional field processing to igorbinarywave.loadibw.

Automatically split version 5 Igor wave files into columns

Added MFP3D files from tanxx06.

Added JPK files from albedomanu.

Added version 0x06130001 PicoForce file from Fabrizio Benedetti.

Added Yukken's mfp3d example data

Ran update_copyright.py on igorbinarywave.py

Add hooke.driver.igorbinarywave so Hooke can read Igor files.

Don't join directory in WTKDriver.__find_previous_cantilever_calibration_file().

We already did that in ._list_cantilever_calibration_files().

Add headers to output of 'cut' and 'export block'.

Both controlled by new 'header' arguments (optional, True by default).

Fix help message when too many arguments are passed to Hooke.

Previously,
  $ python bin/hooke x
would raise an exception.  Now it prints an error message and hooke's
help:
  More than 0 arguments to bin/hooke: ['x']
  Usage: hooke [options]
  ...

Flip deflection sign in picoforce driver so +deflection for +tension

Oops, forgot to convert 'z piezo gain' to a float in the picoforce driver

Add better comment parsing to hooke.ui.commandline.

The old implemtation only handled comments after valid function calls:
  hooke> load_playlist test # a comment
but failed on pure comments and in help
  hooke> # failing comment
  hooke> help # failing comment
The new implemation handles all of these.

I changed empty lines to no-ops (rather than repeating the last
commant), because explicit is better than implicit.

Added illysam's 0x07200000 picoforce example

Use Sphinx's :manpage: construct for python(1).

See
  http://sphinx.pocoo.org/markup/inline.html#role-manpage
This just styles the text rather than linking somewhere, because man
pages can be installation-specific.

Updated doc/tutorial.txt for currently implemented commands

Add FilePlaylist._ignored_keys for boring fields

Translate find_contact_point_fmms to new architecture.

Also
* Add some docstrings, comments, and line wrappings.
* Rename _find_contact_point* -> find_contact_point* so users will
  look at the docstrings.
* Added curve to find_contact_point*() for driver-specific hacks
  and workarounds (specifically, the PicoForce trigger bug).

'wtk' -> self.name in WTKDriver to reduce duplication

Add PYTHONPATH reminders to doc/tutorial.txt and doc/install.txt

Restrict the setup.py package search to the hooke/ directory.

Otherwise test/ and others may also be bundled, which will clutter
your installation with useless cruft.

Ignore distutils build/ directory

Fix 'min_deviations + std' -> 'min_deviations * std' in hooke.util.peak

Oops :p.

Fixups in hooke.plugin.vclamp parameter guess and check.

* guessing adjusted for +deflection for +tension.
* checking adjusted for left-contact and possibly negative slopes.
* added details to 'Too far' version of PoorFit.

Flip deflection sign for hooke.driver.wtk.

We want +deflection for +chain tension.

Moved contact point detection from plugin.fit -> plugin.vclamp.

I haven't translated the two algorithms brought over from fit yet, but
I have added my own bilinear fit approach:
  _find_contact_point_wtk

Also:
* vclamp.scale gets access to hooke for the command list and
  command._run(hooke, ...)
* vclamp.scale functionality broken out into SurfaceContactCommand and
  ForceCommand.
* 'surface z piezo (m)' -> 'surface distance (m)'
* Actually set params['curve'] for flatfilt and convfilt FilterCommand
  subclasses.  Previous implementation just banged away on the default
  curve, regardless of the curve option passed to the subclass' _run.

Remove blank column in wtk driver retraction curves.

The old implentation reserved space for the z piezo input column, but
never filled it in or added the relevant entry to info['columns'].
This caused some column indexing confusion in vclamp.scale().

Fix (retract,approach,params) -> (approach,retract,params) in wtk driver.

The block paths should be in chronological order.

Add hooke.playlist.NoteIndexList._setup_item

This allows item initialization to occur in both .current() and
.filter().

Renamed Playlist._load -> ._setup_item for consistency.

Additional cleanups in fit.py

* Added outqueue to tests, which turned up an 'outqeue' typo.
* Store info in .set_data().  This allows subclasses to write
  data-specific information when the data changes.
* .guess_scale() returns Null by default.  This tells leastsq to use
  its internal scale estimating magic.
* Added strictly positive scale assertion.  The error message returned
  by leastsq for zero or negative scales isn't very obvious.

Added hooke.util.fit for easy Levenberg-Marquardt fitting.

Fix approacing -> approaching typo in cut and curve plugins

Ran update_copyright.py which updated hooke.util.encoding

Add wtk driver for W. Trevor King's velocity clamp data format.

Links to the related experiment control and analysis packages are
given in the docstring for hooke.driver.wtk

Convert update_copyright.py to a more VCS-agnostic version.

This will make it easier for others to grab this code for their own
projects.  Currently supported VCSs: Git, Mercurial, Bazaar.

Use REPORT_UDIFF doctest option in test/curve_info.py

Cleanups in hooke.driver.picoforce

Scaling adjustment:
* Use 'z piezo gain' in bit->m conversion (is this correct?)

Info field renames for clarity and consistency:
* 'z piezo magnification' -> 'z piezo gain' (is this correct?)
* 'z piezo scale (V/bit)' -> 'z piezo sensitivity (V/bit)'
* 'z piezo scale (V)' -> 'z piezo range (V)'
* 'raw-data' -> 'raw data'

Also:
* Stripped trailing whitespace.
* Comment typo correction 'inzrease' -> 'increase'

Don't die when flat-filtering curves shorter than blind window.

This will probably only happen if the user uses an absurdly large
blind window by mistake, but that shouldn't crash Hooke.

Correct relative path generation in hooke.playlist.FilePlaylist.flatten

Fix /doc/build/ -> ./doc/build/ in update_copyright.py

Add another parameter-casting hack.

Confirm lack of peaks in test/data/vclamp_picoforce/

Use numpy.savetxt (handles multiple columns) rather than ndarray.tofile

Add test.flat_filter which has been driving the recent fixups

Adjust path (if it exists) for the child playlist in FilterCommand

Apply 'name' argument in plugin.playlist.FilterCommand

Fix typo .add -> .append in plugin.playlist.FilterCommand

Initialize 'min peaks' from configuration (if required) in convfilt/flatfilt

Fix some outstanding argument issues in flatfilt.

Also adjust temporary contact point value in vclamp.scale to ensure
'blind window' fits.

Input codec messes with readline.

Disabled in hooke.ui.commandline while I work the kinks out of
flatfilt.

Move 'blind window' and 'min peaks' from FlatPeaksCommand to FlatFiltPlugin

Success import and better peaks validation in flatfilt and convfilt.

array.abs() -> numpy.abolute(array) in hooke.util.peak

Removed trailing comma that turned 'median' into a tuple

Added default name to hooke.util.peak.mask_to_peaks

Fix 'min deviation' -> 'min deviations' typos.

In hooke.util.peak and hooke.plugin.convfilt/flatfilt.

Also:
  * Fix "std == data.std" typo in hooke.util.peak.above_noise
  * Pass mean and std from noise to above_noise in find_peaks.

hooke.util.peak.find_peaks should *not* die on noise nonconvergence

Clean up argument handling in hooke.plugin.convfilt/flatfilt.

* Take advantage of hooke.util.peak._kwargs to split out appropriate
  kwargs for find_peaks.
* Add missing arguments 'blind window' and 'median window' to
  FlatFiltPlugin.
* Fix leftover convfilt code in FlatFiltPlugin._run peak naming.
* Add type casting HACK to FlatFiltPlugin._setup.

Added input key flexibility to hooke.util.peak._kwarg

Restore plugin setup in hooke.command.Command.__init__

Added preliminary hooke.plugin.vclamp.scale (just def. m -> N conversion).

Import VelocityClamp in hooke.plugin.flatfilt for ConvolutionPeakCommand._setup

Allow negative voltages in hooke.driver.picoforce.PicoForceDriver._translate_block_info

Fix self.hooke -> hooke typo in hooke.plugin.flatfilt.FlatFilterCommand.filter

Fix broken hooke.plugin.playlist.playlist_name_callback

Remove if __name__ == '__main__' section of hooke.hooke

Add unicode-capable IO to hooke.ui.commandline.

The previous implementation produced:
  $ python bin/hooke -c 'flat_filter_playlist'
  ...
  hooke> Traceback (most recent call last):
  ...
  UnicodeEncodeError: 'ascii' codec can't encode character u'\xec'...

The new encoding detection functions in hooke.util.encoding came from
my libbe.util.encoding module for Bugs Everywhere.  From my original
BE commit (Tue 2008-11-25 15:47:19 -0500):

  get_encoding() is from Trac
    http://trac.edgewall.org/browser/trunk/trac/util/datefmt.py
    format_datetime()
  Trac has a BSD license
    http://trac.edgewall.org/wiki/TracLicense
  I don't know if such a small snippet requires us to "reproduce the
  above copyright" or where we need to reproduce it if it is needed.

  The stdout/stdin replacement code follows
    http://wiki.python.org/moin/ShellRedirectionFails

  References:
    http://wiki.python.org/moin/Unicode
    http://www.amk.ca/python/howto/unicode
    http://www.python.org/dev/peps/pep-0100/

Remove two debugging prints from hooke.ui.commandline

Adjust update_copyright hacks to follow plugin.peakspot -> util.peak move

Major plugin restructuring.

The restructuring makes major improvements in:
  * numpy/scipy utilization (for speed)
  * functional encapsulation (breaking long, complicated functions
    into easily understood pieces, and sharing those pieces between
    related Commands).

Renames:
  * generalclamp -> fclamp
  * generalvclamp -> vclamp
  * generaltccd -> tccd
  * peakspot -> hooke.util.peak

Splits:
  * flatfilts -> flatfily
             `-> convfilt

The config files convfilt.conf and flatfilts.ini were also
internalized into their respective plugins' .default_settings().

Remove debugging print command from hooke.util.calculus.derivative

Fix a pickling problems with hooke.plugin.playlist.FilterCommand.

Pickle doesn't like functions that aren't defined the top level of
modules (such as NoteFilterCommand's old lambda filter_fn).  Add a
warning to that effect to the FilterCommand doc string, and rearrange
to encourage the use of methods (which are less likely to be defined
on the fly than functions).

Also:
  * Added pickle queue debugging code to hooke.hooke.  This isn't the
    first tiem I've had a pickling problem.  This code (when enabled),
    makes it easier for me to track down the failing code.
  * Fix a typo in hooke.hooke.HookeRunner.run (self.ui -> hooke.ui).
  * Remove a snip of trailing whitespace in hooke.hooke.

Allow extra arguments to NoteIndexList.filter's filter_fn