Re: [Patch v2 10/11] perf-test: split basic into 00-new and 01-dump-restore
[notmuch-archives.git] / 15 / 2054910cd0b1100b57705b7cbce1535c9fa249
1 Return-Path: <amdragon@mit.edu>\r
2 X-Original-To: notmuch@notmuchmail.org\r
3 Delivered-To: notmuch@notmuchmail.org\r
4 Received: from localhost (localhost [127.0.0.1])\r
5         by olra.theworths.org (Postfix) with ESMTP id E8CAE431FAF\r
6         for <notmuch@notmuchmail.org>; Mon, 10 Dec 2012 20:50:50 -0800 (PST)\r
7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
8 X-Spam-Flag: NO\r
9 X-Spam-Score: -0.7\r
10 X-Spam-Level: \r
11 X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
12         tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
13 Received: from olra.theworths.org ([127.0.0.1])\r
14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
15         with ESMTP id hiAg7Uy5Gn1o for <notmuch@notmuchmail.org>;\r
16         Mon, 10 Dec 2012 20:50:48 -0800 (PST)\r
17 Received: from dmz-mailsec-scanner-1.mit.edu (DMZ-MAILSEC-SCANNER-1.MIT.EDU\r
18         [18.9.25.12])\r
19         by olra.theworths.org (Postfix) with ESMTP id A0B88431FAE\r
20         for <notmuch@notmuchmail.org>; Mon, 10 Dec 2012 20:50:48 -0800 (PST)\r
21 X-AuditID: 1209190c-b7f886d000000936-85-50c6bba8f888\r
22 Received: from mailhub-auth-1.mit.edu ( [18.9.21.35])\r
23         by dmz-mailsec-scanner-1.mit.edu (Symantec Messaging Gateway) with SMTP\r
24         id 40.8A.02358.8ABB6C05; Mon, 10 Dec 2012 23:50:48 -0500 (EST)\r
25 Received: from outgoing.mit.edu (OUTGOING-AUTH.MIT.EDU [18.7.22.103])\r
26         by mailhub-auth-1.mit.edu (8.13.8/8.9.2) with ESMTP id qBB4olbh027660; \r
27         Mon, 10 Dec 2012 23:50:47 -0500\r
28 Received: from awakening.csail.mit.edu (awakening.csail.mit.edu [18.26.4.91])\r
29         (authenticated bits=0)\r
30         (User authenticated as amdragon@ATHENA.MIT.EDU)\r
31         by outgoing.mit.edu (8.13.6/8.12.4) with ESMTP id qBB4ojhr023138\r
32         (version=TLSv1/SSLv3 cipher=DHE-RSA-AES128-SHA bits=128 verify=NOT);\r
33         Mon, 10 Dec 2012 23:50:47 -0500 (EST)\r
34 Received: from amthrax by awakening.csail.mit.edu with local (Exim 4.80)\r
35         (envelope-from <amdragon@mit.edu>)\r
36         id 1TiHnp-0003s8-Lc; Mon, 10 Dec 2012 23:50:45 -0500\r
37 From: Austin Clements <aclements@csail.mit.edu>\r
38 To: david@tethera.net, notmuch@notmuchmail.org\r
39 Subject: Re: [Patch v2 10/11] perf-test: split basic into 00-new and\r
40         01-dump-restore\r
41 In-Reply-To: <1354762908-5788-11-git-send-email-david@tethera.net>\r
42 References: <1354762908-5788-1-git-send-email-david@tethera.net>\r
43         <1354762908-5788-11-git-send-email-david@tethera.net>\r
44 User-Agent: Notmuch/0.14+159~g6895fee (http://notmuchmail.org) Emacs/23.4.1\r
45         (i486-pc-linux-gnu)\r
46 Date: Mon, 10 Dec 2012 23:50:45 -0500\r
47 Message-ID: <87hantnqe2.fsf@awakening.csail.mit.edu>\r
48 MIME-Version: 1.0\r
49 Content-Type: text/plain; charset=us-ascii\r
50 X-Brightmail-Tracker:\r
51  H4sIAAAAAAAAA+NgFmpgleLIzCtJLcpLzFFi42IR4hRV1l2x+1iAwesr3BYbl/1ktrjR2s1o\r
52         cf3mTGYHZo9fbXOZPZ6tusXsseXQe+YA5igum5TUnMyy1CJ9uwSujKVTTjMV/JOv+PRtPmsD\r
53         413JLkZODgkBE4nvez6xQthiEhfurWfrYuTiEBLYxyhxuqmdFcLZwCix6MEJFgjnIpPEv5N3\r
54         mSCcJYwS06/9YgbpZxPQl1ixdhJQCweHiICexMKtMiBhZgE1iUlrzrCD2MICIRKbpj8G6mXn\r
55         4BRwkrigBBIVEiiT2ND6jg2kUVQgXmL2OR+QMIuAqsSvi6/YQGxeoDs7l/UyQdiCEidnPmGB\r
56         GK4lcePfS6YJjIKzkKRmIUktYGRaxSibklulm5uYmVOcmqxbnJyYl5dapGuol5tZopeaUrqJ\r
57         ERy4kjw7GN8cVDrEKMDBqMTDW6F6LECINbGsuDL3EKMkB5OSKO+BXUAhvqT8lMqMxOKM+KLS\r
58         nNTiQ4wSHMxKIryluUA53pTEyqrUonyYlDQHi5I47+WUm/5CAumJJanZqakFqUUwWRkODiUJ\r
59         3vkgQwWLUtNTK9Iyc0oQ0kwcnCDDeYCGHwOp4S0uSMwtzkyHyJ9i1OWYM7P9CaMQS15+XqqU\r
60         OO8+kCIBkKKM0jy4ObCE84pRHOgtYd7lIFU8wGQFN+kV0BImoCUnBQ+DLClJREhJNTCKLlNu\r
61         Va/f/a+Nbdtfl40qXx9WbfSVa3ba5OSquuaC9eHXm19d4TsQ81FgkXRg1IwWGfennMp9fDca\r
62         m1dmb84+uNLmbLmVvKMs+4qNfyMMmUM17qTsDTHzKjk03/G5Z8fSvZKbb3gFiSskXvP7LL3g\r
63         iM0i16y0JRPemhWv3jr3aKyMgZ3QXRslluKMREMt5qLiRAC0ymHPEwMAAA==\r
64 Cc: David Bremner <bremner@debian.org>\r
65 X-BeenThere: notmuch@notmuchmail.org\r
66 X-Mailman-Version: 2.1.13\r
67 Precedence: list\r
68 List-Id: "Use and development of the notmuch mail system."\r
69         <notmuch.notmuchmail.org>\r
70 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
71         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
72 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
73 List-Post: <mailto:notmuch@notmuchmail.org>\r
74 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
75 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
76         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
77 X-List-Received-Date: Tue, 11 Dec 2012 04:50:51 -0000\r
78 \r
79 On Wed, 05 Dec 2012, david@tethera.net wrote:\r
80 > From: David Bremner <bremner@debian.org>\r
81 >\r
82 > We rely on subsequent "notmuch new" invocations being relatively fast\r
83 > rather than trying to detect if notmuch-new needs to be run.\r
84 > ---\r
85 >  performance-test/00-new            |   21 +++++++++++++++++++++\r
86 >  performance-test/01-dump-restore   |   15 +++++++++++++++\r
87 >  performance-test/README            |    8 ++++++--\r
88 >  performance-test/basic             |   20 --------------------\r
89 >  performance-test/notmuch-perf-test |    3 ++-\r
90 >  5 files changed, 44 insertions(+), 23 deletions(-)\r
91 >  create mode 100755 performance-test/00-new\r
92 >  create mode 100755 performance-test/01-dump-restore\r
93 >  delete mode 100755 performance-test/basic\r
94 >\r
95 > diff --git a/performance-test/00-new b/performance-test/00-new\r
96 > new file mode 100755\r
97 > index 0000000..02db874\r
98 > --- /dev/null\r
99 > +++ b/performance-test/00-new\r
100 > @@ -0,0 +1,21 @@\r
101 > +#!/bin/bash\r
102 > +\r
103 > +test_description='notmuch new'\r
104 > +\r
105 > +. ./perf-test-lib.sh\r
106 > +\r
107 > +uncache_database\r
108 > +\r
109 > +add_email_corpus\r
110 > +\r
111 > +print_header\r
112 > +\r
113 > +time_run 'initial notmuch new' 'notmuch new'\r
114 > +\r
115 > +cache_database\r
116 > +\r
117 > +for i in $(seq 2 6); do\r
118 > +    time_run "notmuch new #$i" 'notmuch new'\r
119 > +done\r
120 > +\r
121 > +time_done\r
122 > diff --git a/performance-test/01-dump-restore b/performance-test/01-dump-restore\r
123 > new file mode 100755\r
124 > index 0000000..09444e3\r
125 > --- /dev/null\r
126 > +++ b/performance-test/01-dump-restore\r
127 > @@ -0,0 +1,15 @@\r
128 > +#!/bin/bash\r
129 > +\r
130 > +test_description='Dump and restore'\r
131 > +\r
132 > +. ./perf-test-lib.sh\r
133 > +\r
134 > +add_email_corpus\r
135 > +\r
136 > +print_header\r
137 > +\r
138 > +time_run 'notmuch new' 'notmuch new'\r
139 > +time_run 'dump *' 'notmuch dump > tags.out'\r
140 > +time_run 'restore *' 'notmuch restore < tags.out'\r
141 > +\r
142 > +time_done\r
143 > diff --git a/performance-test/README b/performance-test/README\r
144 > index fd5c977..35489a9 100644\r
145 > --- a/performance-test/README\r
146 > +++ b/performance-test/README\r
147 > @@ -51,8 +51,8 @@ Each test script supports the following arguments\r
148 >  Writing tests\r
149 >  -------------\r
150 >  \r
151 > -Have a look at "basic" for an example. Sourcing "perf-test-lib.sh" is\r
152 > -mandatory.  Utility functions include\r
153 > +Have a look at "01-dump-restore" for an example. Sourcing\r
154 > +"perf-test-lib.sh" is mandatory.  Utility functions include\r
155 >  \r
156 >  - 'add_email_corpus' unpacks a set of messages and adds them to the database.\r
157 >  - 'cache_database': makes a snapshot of the current database\r
158 > @@ -60,3 +60,7 @@ mandatory.  Utility functions include\r
159 >    database.\r
160 >  - 'time_done' does the cleanup; comment it out or pass --debug to the\r
161 >    script to leave the temporary files around.\r
162 > +\r
163 > +Scripts are run in the order specified in notmuch-perf-test. In the\r
164 > +future this order might be chosen automatically so please follow the\r
165 > +convention of starting the name with two digits to specify the order.\r
166 > diff --git a/performance-test/basic b/performance-test/basic\r
167 > deleted file mode 100755\r
168 > index 41a7ff1..0000000\r
169 > --- a/performance-test/basic\r
170 > +++ /dev/null\r
171 > @@ -1,20 +0,0 @@\r
172 > -#!/bin/bash\r
173 > -\r
174 > -. ./perf-test-lib.sh\r
175 > -\r
176 > -uncache_database\r
177 > -\r
178 > -add_email_corpus\r
179 > -\r
180 > -print_header\r
181 > -\r
182 > -time_run 'initial notmuch new' 'notmuch new'\r
183 > -\r
184 > -cache_database\r
185 > -\r
186 > -time_run 'second notmuch new' 'notmuch new'\r
187 > -time_run 'dump *' 'notmuch dump > tags.out'\r
188 > -time_run 'restore *' 'notmuch restore < tags.out'\r
189 > -time_run 'tag * +new_tag' "notmuch tag +new_tag '*'"\r
190 \r
191 Did you mean to lose the tag-everything test?\r
192 \r
193 > -\r
194 > -time_done\r
195 > diff --git a/performance-test/notmuch-perf-test b/performance-test/notmuch-perf-test\r
196 > index 1bea345..f93d8a4 100755\r
197 > --- a/performance-test/notmuch-perf-test\r
198 > +++ b/performance-test/notmuch-perf-test\r
199 > @@ -17,7 +17,8 @@ fi\r
200 >  cd $(dirname "$0")\r
201 >  \r
202 >  TESTS="\r
203 > -  basic\r
204 > +  00-new\r
205 > +  01-dump-restore\r
206 >  "\r
207 >  \r
208 >  for test in $TESTS; do\r
209 > -- \r
210 > 1.7.10.4\r
211 >\r
212 > _______________________________________________\r
213 > notmuch mailing list\r
214 > notmuch@notmuchmail.org\r
215 > http://notmuchmail.org/mailman/listinfo/notmuch\r