Updated documentation for calibcant.calibrate.calib_aquire.
[calibcant.git] / calibcant / calibrate.py
1 #!/usr/bin/python
2 #
3 # calibcant - tools for thermally calibrating AFM cantilevers
4 #
5 # Copyright (C) 2007,2008, William Trevor King
6 #
7 # This program is free software; you can redistribute it and/or
8 # modify it under the terms of the GNU General Public License as
9 # published by the Free Software Foundation; either version 3 of the
10 # License, or (at your option) any later version.
11 #
12 # This program is distributed in the hope that it will be useful, but
13 # WITHOUT ANY WARRANTY; without even the implied warranty of
14 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
15 # See the GNU General Public License for more details.
16 #
17 # You should have received a copy of the GNU General Public License
18 # along with this program; if not, write to the Free Software
19 # Foundation, Inc., 59 Temple Place - Suite 330, Boston, MA
20 # 02111-1307, USA.
21 #
22 # The author may be contacted at <wking@drexel.edu> on the Internet, or
23 # write to Trevor King, Drexel University, Physics Dept., 3141 Chestnut St.,
24 # Philadelphia PA 19104, USA.
25
26 """
27 Aquire and analyze cantilever calibration data.
28
29 W. Trevor King Dec. 2007-Jan. 2008
30
31 GPL BOILERPLATE
32
33
34 The relevent physical quantities are :
35  Vzp_out  Output z-piezo voltage (what we generate)
36  Vzp      Applied z-piezo voltage (after external ZPGAIN)
37  Zp       The z-piezo position
38  Zcant    The cantilever vertical deflection
39  Vphoto   The photodiode vertical deflection voltage (what we measure)
40  Fcant    The force on the cantilever
41  T        The temperature of the cantilever and surrounding solution
42           (another thing we measure or guess)
43  k_b      Boltzmann's constant
44
45 Which are related by the parameters :
46  zpGain           Vzp_out / Vzp
47  zpSensitivity    Zp / Vzp
48  photoSensitivity Vphoto / Zcant
49  k_cant           Fcant / Zcant
50
51 Cantilever calibration assumes a pre-calibrated z-piezo
52 (zpSensitivity) and a amplifier (zpGain).  In our lab, the z-piezo is
53 calibrated by imaging a calibration sample, which has features with
54 well defined sizes, and the gain is set with a knob on the Nanoscope.
55
56 photoSensitivity is measured by bumping the cantilever against the
57 surface, where Zp = Zcant (see bump_aquire() and the bump_analyze
58 submodule).
59
60 k_cant is measured by watching the cantilever vibrate in free solution
61 (see the vib_aquire() and the vib_analyze submodule).  The average
62 energy of the cantilever in the vertical direction is given by the
63 equipartition theorem.
64     1/2 k_b T   =   1/2 k_cant <Zcant**2>
65  so     k_cant  = k_b T / Zcant**2
66  but    Zcant   = Vphoto / photoSensitivity
67  so     k_cant  = k_b T * photoSensitivty**2 / <Vphoto**2>
68
69 We measured photoSensitivity with the surface bumps.  We can either
70 measure T using an external function (see temperature.py), or just
71 estimate it (see T_aquire() and the T_analyze submodule).  Guessing
72 room temp ~22 deg C is actually fairly reasonable.  Assuming the
73 actual fluid temperature is within +/- 5 deg, the error in the spring
74 constant k_cant is within 5/273.15 ~= 2%.  A time series of Vphoto
75 while we're far from the surface and not changing Vzp_out will give us
76 the average variance <Vphoto**2>.
77
78 We do all these measurements a few times to estimate statistical
79 errors.
80
81 The functions are layed out in the families:
82  bump_*(), vib_*(), T_*(), and calib_*()
83 where calib_{save|load|analyze}() deal with derived data, not
84 real-world data.
85
86 For each family, * can be any of :
87  aquire       get real-world data
88  save         store real-world data to disk
89  load         get real-world data from disk
90  analyze      interperate the real-world data.
91  plot         show a nice graphic to convince people we're working :p
92  load_analyze_tweaked
93               read a file with a list of paths to previously saved
94               real world data load each file using *_load(), analyze
95               using *_analyze(), and optionally plot using *_plot().
96               Intended for re-processing old data.
97 A family name without any _* extension (e.g. bump()), runs *_aquire(),
98  *_save(), *_analyze(), *_plot().
99
100 We also define the two positioning functions:
101  move_just_onto_surface() and move_far_from_surface()
102 which make automating the calibration procedure more straightforward.
103 """
104
105 import numpy
106 import time 
107 import z_piezo_utils
108 from splittable_kwargs import splittableKwargsFunction, \
109     make_splittable_kwargs_function
110 import FFT_tools
111
112 import common
113 import config
114 import bump_analyze
115 import T_analyze
116 import vib_analyze
117 import analyze
118
119 # bump family
120
121 @splittableKwargsFunction()
122 def bump_aquire(zpiezo, push_depth=200, npoints=1024, push_speed=1000) :
123     """
124     Ramps closer push_depth and returns to the original position.
125     Inputs:
126      zpiezo     an opened zpiezo.zpiezo instance
127      push_depth distance to approach, in nm
128      npoints    number points during the approach and during the retreat
129      push_speed piezo speed during approach and retreat, in nm/s
130     Returns the aquired ramp data dictionary, with data in DAC/ADC bits.
131     """
132     # generate the bump output
133     nm_per_step = float(push_depth) / npoints
134     freq = push_speed / nm_per_step # freq is sample frequency in Hz
135     start_pos = zpiezo.curPos()
136     pos_dist = zpiezo.pos_nm2out(push_depth) - zpiezo.pos_nm2out(0)
137     close_pos = start_pos + pos_dist
138     appr = numpy.linspace(start_pos, close_pos, npoints)
139     retr = numpy.linspace(close_pos, start_pos, npoints)
140     out = numpy.concatenate((appr, retr))
141     # run the bump, and measure deflection
142     if config.TEXT_VERBOSE :
143         print "Bump %g nm at %g nm/s" % (push_depth, push_speed)
144     data = zpiezo.ramp(out, freq)
145     return data
146
147 @splittableKwargsFunction(bump_aquire,
148                           (bump_analyze.bump_save, 'data'),
149                           (bump_analyze.bump_analyze, 'data'))
150 def bump(**kwargs):
151     """
152     Wrapper around bump_aquire(), bump_save(), bump_analyze()
153     """
154     bump_aquire_kwargs,bump_save_kwargs,bump_analyze_kwargs = \
155         bump._splitargs(bump, kwargs)
156     data = bump_aquire(**bump_aquire_kwargs)
157     bump_analyze.bump_save(data, **bump_save_kwargs)
158     photoSensitivity = bump_analyze.bump_analyze(data, **bump_analyze_kwargs)
159     return photoSensitivity
160
161 # T family.
162 # Fairly stubby, since a one shot Temp measurement is a common thing.
163 # We just wrap that to provide a consistent interface.
164
165 @splittableKwargsFunction()
166 def T_aquire(get_T=None) :
167     """
168     Measure the current temperature of the sample, 
169     or, if get_T == None, fake it by returning config.DEFAULT_TEMP
170     """
171     if get_T == None :
172         if config.TEXT_VERBOSE :
173             print "Fake temperature %g" % config.DEFAULT_TEMP
174         return config.DEFAULT_TEMP
175     else :
176         if config.TEXT_VERBOSE :
177             print "Measure temperature"
178         return get_T()
179
180 @splittableKwargsFunction(T_aquire,
181                           (T_analyze.T_save, 'T'),
182                           (T_analyze.T_analyze, 'T'))
183 def T(**kwargs):
184     """
185     Wrapper around T_aquire(), T_save(), T_analyze(), T_plot()
186     """
187     T_aquire_kwargs,T_save_kwargs,T_analyze_kwargs = \
188         T._splitargs(T, kwargs)
189     T_raw = T_aquire(**T_aquire_kwargs)
190     T_analyze.T_save(T_raw, **T_save_kwargs)
191     T_ret = T_analyze.T_analyze(T_raw, **T_analyze_kwargs) # returns array
192     return T_ret[0]
193
194 # vib family
195
196 @splittableKwargsFunction()
197 def vib_aquire(zpiezo, time=1, freq=50e3) :
198     """
199     Record data for TIME seconds at FREQ Hz from ZPIEZO at it's current position.
200     """
201     # round up to the nearest power of two, for efficient FFT-ing
202     nsamps = FFT_tools.ceil_pow_of_two(time*freq)
203     time = nsamps / freq
204     # take some data, keeping the position voltage at it's current value
205     out = numpy.ones((nsamps,), dtype=numpy.uint16) * zpiezo.curPos()
206     if config.TEXT_VERBOSE :
207         print "get %g seconds of data" % time
208     data = zpiezo.ramp(out, freq)
209     data['sample frequency Hz'] = numpy.array([freq])
210     return data
211
212 @splittableKwargsFunction(vib_aquire,
213                           (vib_analyze.vib_save, 'data'),
214                           (vib_analyze.vib_analyze, 'deflection_bits', 'freq'))
215 def vib(**kwargs) :
216     """
217     Wrapper around vib_aquire(), vib_save(), vib_analyze()
218     """
219     vib_aquire_kwargs,vib_save_kwargs,vib_analyze_kwargs = \
220         vib._splitargs(vib, kwargs)
221     data = vib_aquire(**vib_aquire_kwargs)
222     vib_analyze.vib_save(data, **vib_save_kwargs)
223     freq = data['sample frequency Hz']
224     deflection_bits = data['Deflection input']
225     Vphoto_var = vib_analyze.vib_analyze(deflection_bits=deflection_bits,
226                                          freq=freq, **vib_analyze_kwargs)
227     return Vphoto_var
228
229 # A few positioning functions, so we can run bump_aquire() and vib_aquire()
230 # with proper spacing relative to the surface.
231
232 @splittableKwargsFunction()
233 def move_just_onto_surface(stepper, zpiezo, Depth_nm=-50, setpoint=2) :
234     """
235     Uses z_piezo_utils.getSurfPos() to pinpoint the position of the
236     surface.  Adjusts the stepper position as required to get within
237     stepper_tol nm of the surface.  Then set Vzp to place the
238     cantilever Depth_nm onto the surface.  Negative Depth_nm values
239     will place the cantilever that many nm _off_ the surface.
240     
241     If getSurfPos() fails to find the surface, backs off (for safety)
242     and steps in (without moving the zpiezo) until Vphoto > setpoint.
243     """
244     stepper_tol = 250 # nm, generous estimate of the fullstep stepsize
245
246     if config.TEXT_VERBOSE :
247         print "moving just onto surface"
248     # Zero the piezo
249     if config.TEXT_VERBOSE :
250         print "zero the z piezo output"
251     zpiezo.jumpToPos(zpiezo.pos_nm2out(0))
252     # See if we're near the surface already
253     if config.TEXT_VERBOSE :
254         print "See if we're starting near the surface"
255     try :
256         dist = zpiezo.pos_out2nm( \
257             z_piezo_utils.getSurfPos(zpiezo, zpiezo.def_V2in(setpoint))
258                                 )
259     except (z_piezo_utils.tooClose, z_piezo_utils.poorFit), string :
260         if config.TEXT_VERBOSE :
261             print "distance failed with: ", string
262             print "Back off 200 half steps"
263         # Back away 200 steps
264         stepper.step_rel(-400)
265         stepper.step_rel(200)
266         sp = zpiezo.def_V2in(setpoint) # sp = setpoint in bits
267         zpiezo.updateInputs()
268         cd = zpiezo.curDef()           # cd = current deflection in bits
269         if config.TEXT_VERBOSE :
270             print "Single stepping approach"
271         while cd < sp :
272             if config.TEXT_VERBOSE :
273                 print "deflection %g < setpoint %g.  step closer" % (cd, sp)
274             stepper.step_rel(2) # Full step in
275             zpiezo.updateInputs()
276             cd = zpiezo.curDef()
277         # Back off two steps (protecting against backlash)
278         if config.TEXT_VERBOSE :
279             print "Step back 4 half steps to get off the setpoint"
280         stepper.step_rel(-200)
281         stepper.step_rel(196)
282         # get the distance to the surface
283         zpiezo.updateInputs()
284         if config.TEXT_VERBOSE :
285             print "get surf pos, with setpoint %g (%d)" % (setpoint, zpiezo.def_V2in(setpoint))
286         for i in range(20) : # HACK, keep stepping back until we get a distance
287             try :
288                 dist = zpiezo.pos_out2nm( \
289                     z_piezo_utils.getSurfPos(zpiezo,zpiezo.def_V2in(setpoint)))
290             except (z_piezo_utils.tooClose, z_piezo_utils.poorFit), string :
291                 stepper.step_rel(-200)
292                 stepper.step_rel(198)
293                 continue
294             break
295         if i >= 19 :
296             print "tried %d times, still too close! bailing" % i
297             print "probably an invalid setpoint."
298             raise Exception, "weirdness"
299     if config.TEXT_VERBOSE :
300         print 'distance to surface ', dist, ' nm'
301     # fine tune the stepper position
302     while dist < -stepper_tol : # step back if we need to
303         stepper.step_rel(-200)
304         stepper.step_rel(198)
305         dist = zpiezo.pos_out2nm( \
306             z_piezo_utils.getSurfPos(zpiezo, zpiezo.def_V2in(setpoint)))
307         if config.TEXT_VERBOSE :
308             print 'distance to surface ', dist, ' nm, step back'
309     while dist > stepper_tol : # and step forward if we need to
310         stepper.step_rel(2)
311         dist = zpiezo.pos_out2nm( \
312             z_piezo_utils.getSurfPos(zpiezo, zpiezo.def_V2in(setpoint)))
313         if config.TEXT_VERBOSE :
314             print 'distance to surface ', dist, ' nm, step closer'
315     # now adjust the zpiezo to place us just onto the surface
316     target = dist + Depth_nm
317     zpiezo.jumpToPos(zpiezo.pos_nm2out(target))
318     # and we're there :)
319     if config.TEXT_VERBOSE :
320         print "We're %g nm into the surface" % Depth_nm
321
322 @splittableKwargsFunction()
323 def move_far_from_surface(stepper, um_back=50) :
324     """
325     Step back a specified number of microns.
326     (uses very rough estimate of step distance at the moment)
327     """
328     step_nm = 100
329     steps = int(um_back*1000/step_nm)
330     print "step back %d steps" % steps
331     stepper.step_rel(-steps)
332
333
334 # and finally, the calib family
335
336 @splittableKwargsFunction((move_just_onto_surface, 'stepper', 'zpiezo'),
337                           (bump, 'zpiezo', 'log_dir', 'Vphoto_in2V'),
338                           (move_far_from_surface, 'stepper'),
339                           (T, 'log_dir'),
340                           (vib, 'zpiezo', 'log_dir', 'Vphoto_in2V'),
341                           (analyze.calib_save, 'bumps','Ts','vibs','log_dir'))
342 def calib_aquire(stepper, zpiezo, num_bumps=10, num_Ts=10, num_vibs=20,
343                  log_dir=config.LOG_DIR, Vphoto_in2V=config.Vphoto_in2V,
344                  **kwargs):
345     """
346     Aquire data for calibrating a cantilever in one function.
347     return (bump, T, vib), each of which is an array.
348     Inputs :
349      stepper       a stepper.stepper_obj for coarse Z positioning
350      zpiezo        a z_piezo.z_piezo for fine positioning and deflection readin
351      num_bumps     number of 'bumps' (see Outputs)
352      num_temps     number of 'Ts' (see Outputs)
353      num_vibs      number of 'vib's (see Outputs)
354      log_dir       directory to log data to.  Default 'None' disables logging.
355      Vphoto_in2V   function to convert photodiode input bits to Volts
356
357      + other kwargs.  Run calib_aquire._kwargs(calib_aquire) to see
358      all options.  Run calib_aquire._childSplittables to see a list
359      of kwarg functions that this function calls.
360
361     Outputs (all are arrays of recorded data) :
362      bumps measured (V_photodiode / nm_tip) proportionality constant
363      Ts    measured temperature (K)
364      vibs  measured V_photodiode variance in free solution
365     """
366     move_just_onto_surface_kwargs,bump_kwargs,move_far_from_surface_kwargs, \
367         T_kwargs,vib_kwargs,calib_save_kwargs = \
368         calib_aquire._splitargs(calib_aquire, kwargs)
369     # get bumps
370     move_just_onto_surface(stepper, zpiezo, **move_just_onto_surface_kwargs)
371     bumps = numpy.zeros((num_bumps,), dtype=numpy.float)
372     for i in range(num_bumps) :
373         bumps[i] = bump(zpiezo=zpiezo, log_dir=log_dir,
374                         Vphoto_in2V=Vphoto_in2V, **bump_kwargs)
375     if config.TEXT_VERBOSE :
376         print bumps
377
378     move_far_from_surface(stepper, **move_far_from_surface_kwargs)
379
380     # get Ts
381     Ts = numpy.zeros((num_Ts,), dtype=numpy.float)
382     for i in range(num_Ts) :
383         Ts[i] = T(**T_kwargs)
384         time.sleep(1) # wait a bit to get an independent temperature measure
385     print Ts
386
387     # get vibs
388     vibs = numpy.zeros((num_vibs,), dtype=numpy.float)
389     for i in range(num_vibs) :
390         vibs[i] = vib(zpiezo=zpiezo, log_dir=log_dir, Vphoto_in2V=Vphoto_in2V,
391                       **vib_kwargs)
392     print vibs
393     
394     analyze.calib_save(bumps, Ts, vibs, log_dir, **calib_save_kwargs)
395     
396     return (bumps, Ts, vibs)
397
398
399 @splittableKwargsFunction( \
400     (calib_aquire, 'log_dir'),
401     (analyze.calib_analyze, 'bumps','Ts','vibs'))
402 def calib(log_dir=config.LOG_DIR, **kwargs) :
403     """
404     Calibrate a cantilever in one function.
405     The I-don't-care-about-the-details black box version :p.
406     return (k, k_s)
407     Inputs:
408      (see calib_aquire()) 
409     Outputs :
410      k    cantilever spring constant (in N/m, or equivalently nN/nm)
411      k_s  standard deviation in our estimate of k
412     Notes :
413      See get_calibration_data() for the data aquisition code
414      See analyze_calibration_data() for the analysis code
415     """
416     calib_aquire_kwargs,calib_analyze_kwargs = \
417         calib._splitargs(calib, kwargs)
418     a, T, vib = calib_aquire(**calib_aquire_kwargs)
419     k,k_s,ps2_m, ps2_s,T_m,T_s,one_o_Vp2_m,one_o_Vp2_s = \
420         analyze.calib_analyze(a, T, vib, **calib_analyze_kwargs)
421     analyze.calib_save_analysis(k, k_s, ps2_m, ps2_s, T_m, T_s,
422                                 one_o_Vp2_m, one_o_Vp2_s, log_dir)
423     return (k, k_s)
424
425     
426