calibcant-calibrate.py: Record the stepper approach trace

Sometimes these approach curves are pretty funky, so I'll start
recording them by default.

d02d4a/4d7fd3: close "unify TEXT_VERBOSE" (fixed in v0.6)

TEXT_VERBOSE has been gone since:

  commit 82cd9c169d26de338e7399439062937f31389864
  Author: W. Trevor King <wking@drexel.edu>
  Date:   Thu Apr 21 16:45:59 2011 -0400

    Massive rewrite (v 0.6) to base everything on Cython and revamped pypiezo.

d02d4a: upgrade to Bugs Everywhere Directory v1.5.

.update-copyright.conf: update to pipe separators.

This brings the config file up to speed with the following
update-copyright commit:

  commit 3c68a1a48419d8b2bbc2ce0e7f1700b996ec30e9
  Author: W. Trevor King <wking@tremily.us>
  Date:   Fri Oct 19 21:52:48 2012 -0400

    project: for consistency, also separate ignored paths with pipes.

Add --num-* arguments to calibcant-calibrate.py.

This allows you to adjust the number of surface bumps, temperature
measurements, and thermal vibration measurements from the command
line, which is much more convenient than editing the calibcant.config
file directly.

You can also skip a troublesome phase.  For example, if you want to
look at the vibration data without running surface bumps, you can try:

  $ calibcant-calibrate.py --num-bumps 0
  $ calibcant-plot.py *.h5

I adjusted analyze_all() so it can keep working even with one of the
num-* configs set to zero, although you won't be able to get a valid
calibration without at least one of each type of measurement.

Fix aquire -> acquire typo in Calibrator.load_raw.__doc__.

Return to a safe state if calibcant-calibrate.py crashes during calibration.

Work around x_contact == x[0] in limited_linear_param_guess.

Bump to version 0.8.

Save the i-th vibration in analyze_all(), not the list of all vibrations.

Fix temperature -> vibration typo in check_vibration().

Allow groups to be used without filenames in temperature and vibration saves.

Fix temerature_group -> temperature_group typo in analyze_all().

Introduced by:

  commit 560f9f94abbdf396b9f624e03bdb2a1f6d840bd1
  Author: W. Trevor King <wking@drexel.edu>
  Date:   Fri Mar 16 10:02:37 2012 -0400

    Get calibcant working with the new load_from_config-based pyafm.

Allow configuration centralizion in HDF5 files.

Before this commit, each bump/temperature/vibration measurement needed
it's own local copy of the configuration.  This is good, because it
allow you to store experiments where the configuration changes between
measurements (e.g. one bump with push depth of 200 nm, followed by
others with a push depth of 300 nm).  However, such per-measurement
changes should be a rare occurrence, so this commit allows you to
specify the measurement configuration in a central location.  For
example:

  /bump/0/config/bump/...
  /bump/1/config/bump/...
  /bump/2/config/bump/...
  ...

can now be consolidated to

  /config/bump/...

If you want, you can still override the central config for a
particular measurement by placing the config in the old location.

Oops, Calibrator.save_results should be a static method.

Without this fix, you get errors like:

  Traceback (most recent call last):
    File "/usr/bin/calibcant-calibrate.py-2.7", line 46, in <module>
      sys.exit(main(sys.argv[1:]))
    File "/usr/bin/calibcant-calibrate.py-2.7", line 36, in main
      k,k_s,data = calibrator.calibrate(filename=filename)
    File "/usr/lib/python2.7/site-packages/calibcant/calibrate.py", line 495, in calibrate
      spring_constant=k, spring_constant_deviation=k_s, **data)
  TypeError: save_results() got multiple values for keyword argument 'filename'

.update-copyright.conf should not be executable.

Oops, analyze_all's data argument is a dict, not an hdf5 group.

Better errors from analyze_all when we're missing raw data.

Adjust analyze_all to work with missing data['raw'] or data['processed'].

This is especially useful for analyzing data where the initial
analysis crashed for some reason, but and you want to re-analyze after
you fixed the bug.

Further fixups to get calibcant-analyze.py working.

Notice if lengths of bumps, temps, or vibs changes in analyze_all.

For example, if a vibration has a wierd jump that throws off the
average, you can move that vibration from, say, 'vibration/12' to
'vibration/-1'.  This saves the data, but does not use it to calculate
the spring constant.

With the old logic, the shortened array of variances wasn't saved over
the old ones, because none of the analysis for an individual vibration
had changed.

Use 'read' instead of 'append' as the file mode in Calibrator.load_raw().

It's safer that way (less chance of corrupting your data).

Fix mode typo when running analyze_all() without dry_run.

Convert calibcant-analyze.py to work with load_all and analyze_all.

This catches that script up with

  commit 560f9f94abbdf396b9f624e03bdb2a1f6d840bd1
  Author: W. Trevor King <wking@drexel.edu>
  Date:   Fri Mar 16 10:02:37 2012 -0400

    Get calibcant working with the new load_from_config-based pyafm.

Use tight autoscalling for analyze plots.

Change my email address from drexel.edu to tremily.us.

Fix d -> deflection in bump_analyze.fit() bailout code.

Add vibration_analyze.breit_wigner_resonant_frequency().

Now people using the module don't have to think or read comments to
determine the resonant frequency from fitted parameters ;).

Fix argument indentation in vibration_analyze.plot() definition.

Fix gaussian normalization in vibration_analyze.plot (no need for binwidth).

Remove duplicate plot call from vibration_analyze.analyze.

Oops, bump_analyze.plot should return `figure`, not `plot`.

Use tight autoscaling for bump plots.

Plotting commands now return the plots they generate.

This lets you manipulate them in external code to fine tune them to
your particular situation.  The default plots are useful, but not
always beautiful.  Now you can write a script to generate beautiful
plots for your poster without duplicating code from the plot
functions.

Use tight autoscaling for vibration plots.

Add calibcant-calibrate.py, now that we have a configurable default AFM to calibrate.

Get calibcant working with the new load_from_config-based pyafm.

Only calculate relative errors if a previous value exists.

This avoids:

  TypeError: unsupported operand type(s) for -: 'float' and 'NoneType'

Oops, use numpy arrays instead of lists for the last commit.

This avoids:

  Traceback (most recent call last):
    File ".../calibcant/analyze.py", line 189, in calib_analyze
      ps_m = bumps.mean()  # ps for photo-sensitivity
  AttributeError: 'list' object has no attribute 'mean'

Allow calib_analyze_all to run when there are no previous analyzed bumps, etc.

This avoids:

  Traceback (most recent call last):
    ...
    File ".../calibcant/analyze.py", line 410, in calib_analyze_all
      bumps[i] = sensitivity
  TypeError: 'NoneType' object does not support item assignment

which can happen if you construct the calibration datafile by hand and
have not yet analyzed it with calibcant.

Update URLs from einstein to tremily.

Run update-copyright.py.

Transition to my external update-copyright package.

http://pypi.python.org/pypi/update-copyright/

Add min-slope-ratio option to BumpConfig.

I was running into trouble moving to the surface with extremely long
cantilevers, as the difference between the contact slope and
non-contact drift was smaller than my hardcoded cutoff.  Now the
cutoff is configurable.

Upgraded BE repository to v1.4.

Update calib_analyze_all for nested Configs.

Also wrap `figure.show` calls to avoid calling them when using
Matplotlib backends that do not support that method (e.g. Cairo).

Adjust surface parameter guessing to be resilient to off-surface bumps.

Not that these should happen, but if they do they shouldn't crash the
calibration.

Fix problems with the transition to the new nested-Config h5config package.

Also restore BumpConfig's `initial-position` setting, since it's
critical to running a bump.  I removed it when I mistakenly thought it
was storeing the output voltage used as the initial position
(something that you'd measure during a bump).  I guess I should have
read the help string before I deleted it ;).

There are also a number of numpy array -> float conversions when
loading HDF5.  This avoids excessive numpy-fication with h5py v2.0.

Convert calibcant to the new, nestable h5config.

convert to H5config and bump to v0.7.

Fix real-T handling in T_acquire().

Use abs(C) in fit_psd() (to match breit_wigner()).

Correct vibrationss -> vibrations typo in calib_save() call.

vibs -> vibrations in calib_save() keyword call from calibrate.calib().

Ts -> temperatures in calib_save() keyword call from calibrate.calib().

Give scripts more globally unique names.

Oops.  root -> 'bin' in setup.py script listing.

List analyze and plot_calibration scripts in setup.py.

Fix up README so it is standard reStructuredText.

Oops, actually bump __version__ to 0.6.

Massive rewrite (v 0.6) to base everything on Cython and revamped pypiezo.

Cleaned up README and package with pure distutils (vs. setuputils).

Also:
* Don't make calibcant modules executible.  Scripts should be handled
  explicitly through distutils.
* Ran ./update_copyright.py

Don't import VERSION (now __version__) in calibcant.common.

Update to piezo v0.3 (based on data_logger 0.4) and bump to v0.5.

Adjust update_copyright.py to handle Bazaar repos + minor fixes

Fix relative import syntax.

Fixes broken implementation from
  81f9df69442d686bed368ac6db2180cd482f1acb

Added .gitignore

Ran update_copyright.py

Added update_copyright.py to automate copyright blurb maintenance

Use relative imports (PEP 328) for calibcant sibling imports.

Move LICENSE->COPYING and package ez_setup.py without installing it.

Bumped to version 0.4.

Updated to depend on newly packaged piezo package.

Added optional ability to use naive vibration variance calculation.

Now you don't have to fit the vibration power spectral density if you
don't want to.  The only reason I can think of for not fitting would be
to `emulate' older calibration software that doesn't have the fitting
capability, or to provide a simple point-of-reference for comparing
various fitting models.

Restored linear-fitting option to surface bumps.

Now you don't have to use quadratic fitting if you don't want to.  This
mitigates problems associated with poorly defined contact-kinks, since
it's not a good idea to focus on the post-kink slope if you don't have
a good idea of where the kink actually is.  The limited_linear model
retains the non-contact and high-voltage-rail flat-line portions, with
a linear contact regime between the two.

Additional minor changes include:
  * Average deflection printout from vib_analyze in TEXT_VERBOSE mode.
    To make it easier to demonstrate that variance increases as the mean
    deflection deviates further from zero.
  * Corrected usage string in bump_analyze.py which had been out of date
    before.

Clarified usage information for vib_analyze.py

Reposition cantilever between each bump to adjust for piezo creep.

Broke bump unit conversion out into its own functions.

To provide conversion functions for other scripts, e.g. scale_unfold.py.

Set default maxFreq to 25 kHz.  Unset pylab.hold for the bump_plot residual.

It's probably a better idea to set the maxFreq to the Nyquist freq by
default, but only time for a quick hack at the moment.  You'll have to
neck down maxFreq to 7-10 kHz for softer cantilevers (~< 40 pN/nm),
since otherwise you'll start picking up higher order modes.

The bump_plot fix was just because plotting a bunch of data is _slow_.
Pylab in general is no speed demon, so the less extra work I give it,
the better.

Updated documentation for calibcant.calibrate.calib_aquire.

bump_plot() plotVerbose now defaults to False.

That way you don't have to specify plotVerbose=False to make it shut up ;).

Shiny, new, flexible bump fitting framework.

The bump fitting algorithm has been upgraded due to my increased
understanding of the complexity of the photodiode.

Sensitivity (bump slope) decreases as you move away from a zero volt
photodiode output.  Most of the time anyway.  We should be able to
handle data with a gentle camber, and we need to know what voltage
corresponds to the zero-deflection signal.

This prompted the recent change of bump aquisition to begin just _off_
the surface instead of just _on_ the surface.  Now we have to deal with
finding the location of the surface kink, so I split the fitting out
into its own function which least squares fits the data to whatever
model it's passed (currently via Levenburg-Marquardt).

Since the model is now it's own stand-alone entity, I got fancy and
added quadratic fits (to deal with camber) and clipping (to deal with
out-of-range signals).  So there should be no more need of manually
clipping in the tweakfiles or using the --cut-contact option in
bump_analyze (which has been removed).

I also enhanced the output of bump_plot to show the guess, fit, and
residual, in case anyone needs convincing that the fit is working, or is
troubleshooting a new model.

Removed old references to freq in calibrate.py after freq->push_speed change.

Also turned plotting back on by default (the change doesn't affect
command line usage).

Start bumps with the cantilever _off_ the surface.

Photodiode sensitivity (and thus, bump slope) decreases as the
zero-deflection photodiode input moves away from zero Volts.  In order
to mitigate the effect of this on our calibration, we need to keep
track of the zero-deflection signal.  By starting our bump off the
surface, our bumps should always start and end in the zero-deflection
regime.

This will make analysis a bit more complicated though.  I'll get to
that next.

Control bump_speed instead of bump sample frequency.

More physically useful number.  The old default speed was huge.

Various adjustments.  I should commit more often ;).

Added # comments to tweakfile syntax.

Played around with adding a white-noise floor in the vibration fitting,
but the fits didn't look all that convincing.  Some of the white-noise
code is still in place, but I think it's currently disabled ;).

Fixed some typos in TEXT_VERBOSE output in vib_analyze.py

Prepared for distribution.

Fixed lines in the Makefile that I hadn't changed when I copied it into
this project in the beginning.  Also added GPL blurbs to two py files.

Fixed C->K conversion bug in T_analyze.py

Closes 327f4db8-3119-4ec1-a762-a3115254608a

New Marisa/me calibration difference bug 327f4db8-3119-4ec1-a762-a3115254608a

Add trailing endline to calibration analysis files.

Fixed old FFT_tools portions of Makefile to calibcant

Fixed one_o_Vphoto_2_m typo in calib_analyze()

Updated to new data_logger log_dir $DEFAULT$ syntax for easier log_dir defs.

calib_save_analysis() now uses string_errors() to format output.

Add lines to analyze.calib_plot().

There aren't many points, and line connecting lines increase visibility.

Apply some fixes to get calibrations working and bump version.

Mostly namespace problems due to `from numpy import *` and the
like.  Things seem to work now.  I think we're ready for prime-time.

calibrate.py should now work.

A bunch of changes in one commit, sorry.

Moved to fledgling splittable_kwargs system to make default argument
maintenance easier.  I expect the splittable_kwargs system still has
some growing to do, but it's already better than the old system.

Merged BE database from the calibcant subdir into the main BE database.
It was a mistake to create the database there in the first place.

Added pylab flag to bump_analyze.py

Added comparison to vib_analyze_naive() in vib_analyze().

This will protect against really hideous fits :p.  It also lead to
fixes for outdated code in vib_analyze_naive() (it hadn't been used in
a while) and some outdated comments in vib_analyze().

Finally, added abs()ing for the always-positive fit parameters A and B
when using the scipy.optimize.leastsq() method.

Moved fitting from GnuplotBiDir to scipy.optimize.leastsq  in vib_analyze.

Much better fit quality.  See bug f3ba76cd-eddd-4520-bb2a-17ca371ac6b6

Fixed poor treatment of non-tweakfiles in vib_analyze.

See bug 3059911a-963c-472e-a9d3-bf0a290de1a2.