71/e6f888904d8e08b4cbe5a36054a1cac1f4f818

   1 Return-Path: <bremner@tethera.net>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 1B2F5431FBD\r
   6         for <notmuch@notmuchmail.org>; Mon, 24 Dec 2012 06:59:39 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 0\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=0 tagged_above=-999 required=5 tests=[none]\r
  12         autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id 3lP93YxRBqZj for <notmuch@notmuchmail.org>;\r
  16         Mon, 24 Dec 2012 06:59:37 -0800 (PST)\r
  17 Received: from tesseract.cs.unb.ca (tesseract.cs.unb.ca [131.202.240.238])\r
  18         (using TLSv1 with cipher AES256-SHA (256/256 bits))\r
  19         (No client certificate requested)\r
  20         by olra.theworths.org (Postfix) with ESMTPS id 11257431FB6\r
  21         for <notmuch@notmuchmail.org>; Mon, 24 Dec 2012 06:59:37 -0800 (PST)\r
  22 Received: from fctnnbsc30w-156034082078.dhcp-dynamic.fibreop.nb.bellaliant.net\r
  23         ([156.34.82.78] helo=zancas.localnet)\r
  24         by tesseract.cs.unb.ca with esmtpsa\r
  25         (TLS1.0:DHE_RSA_AES_128_CBC_SHA1:16) (Exim 4.72)\r
  26         (envelope-from <bremner@tethera.net>)\r
  27         id 1Tn9V9-0000TT-HU; Mon, 24 Dec 2012 10:59:36 -0400\r
  28 Received: from bremner by zancas.localnet with local (Exim 4.80)\r
  29         (envelope-from <bremner@tethera.net>)\r
  30         id 1Tn9V4-0001kZ-0W; Mon, 24 Dec 2012 10:59:30 -0400\r
  31 From: david@tethera.net\r
  32 To: notmuch@notmuchmail.org\r
  33 Subject: [Patch v2 2/4] perf-test: rename current tests as "time tests"\r
  34 Date: Mon, 24 Dec 2012 10:59:18 -0400\r
  35 Message-Id: <1356361160-6449-3-git-send-email-david@tethera.net>\r
  36 X-Mailer: git-send-email 1.7.10.4\r
  37 In-Reply-To: <1356361160-6449-1-git-send-email-david@tethera.net>\r
  38 References: <1356361160-6449-1-git-send-email-david@tethera.net>\r
  39 X-Spam_bar: -\r
  40 Cc: David Bremner <bremner@debian.org>\r
  41 X-BeenThere: notmuch@notmuchmail.org\r
  42 X-Mailman-Version: 2.1.13\r
  43 Precedence: list\r
  44 List-Id: "Use and development of the notmuch mail system."\r
  45         <notmuch.notmuchmail.org>\r
  46 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  47         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  48 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  49 List-Post: <mailto:notmuch@notmuchmail.org>\r
  50 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  51 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  52         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  53 X-List-Received-Date: Mon, 24 Dec 2012 14:59:39 -0000\r
  54 \r
  55 From: David Bremner <bremner@debian.org>\r
  56 \r
  57 This is almost entirely renaming files, except for updating a few\r
  58 references to those file names, and changing the makefile target.\r
  59 \r
  60 A new set of memory tests will be run separately because they take\r
  61 much longer.\r
  62 ---\r
  63  performance-test/00-new            |   15 ---------------\r
  64  performance-test/01-dump-restore   |   13 -------------\r
  65  performance-test/02-tag            |   14 --------------\r
  66  performance-test/Makefile.local    |    2 +-\r
  67  performance-test/README            |    9 +++++----\r
  68  performance-test/T00-new           |   15 +++++++++++++++\r
  69  performance-test/T01-dump-restore  |   13 +++++++++++++\r
  70  performance-test/T02-tag           |   14 ++++++++++++++\r
  71  performance-test/notmuch-perf-test |   27 ---------------------------\r
  72  performance-test/notmuch-time-test |   27 +++++++++++++++++++++++++++\r
  73  10 files changed, 75 insertions(+), 74 deletions(-)\r
  74  delete mode 100755 performance-test/00-new\r
  75  delete mode 100755 performance-test/01-dump-restore\r
  76  delete mode 100755 performance-test/02-tag\r
  77  create mode 100755 performance-test/T00-new\r
  78  create mode 100755 performance-test/T01-dump-restore\r
  79  create mode 100755 performance-test/T02-tag\r
  80  delete mode 100755 performance-test/notmuch-perf-test\r
  81  create mode 100755 performance-test/notmuch-time-test\r
  82 \r
  83 diff --git a/performance-test/00-new b/performance-test/00-new\r
  84 deleted file mode 100755\r
  85 index 553bb8b..0000000\r
  86 --- a/performance-test/00-new\r
  87 +++ /dev/null\r
  88 @@ -1,15 +0,0 @@\r
  89 -#!/bin/bash\r
  90 -\r
  91 -test_description='notmuch new'\r
  92 -\r
  93 -. ./perf-test-lib.sh\r
  94 -\r
  95 -uncache_database\r
  96 -\r
  97 -time_start\r
  98 -\r
  99 -for i in $(seq 2 6); do\r
 100 -    time_run "notmuch new #$i" 'notmuch new'\r
 101 -done\r
 102 -\r
 103 -time_done\r
 104 diff --git a/performance-test/01-dump-restore b/performance-test/01-dump-restore\r
 105 deleted file mode 100755\r
 106 index b2ff940..0000000\r
 107 --- a/performance-test/01-dump-restore\r
 108 +++ /dev/null\r
 109 @@ -1,13 +0,0 @@\r
 110 -#!/bin/bash\r
 111 -\r
 112 -test_description='dump and restore'\r
 113 -\r
 114 -. ./perf-test-lib.sh\r
 115 -\r
 116 -time_start\r
 117 -\r
 118 -time_run 'load nmbug tags' 'notmuch restore --accumulate < corpus.tags/nmbug.sup-dump'\r
 119 -time_run 'dump *' 'notmuch dump > tags.out'\r
 120 -time_run 'restore *' 'notmuch restore < tags.out'\r
 121 -\r
 122 -time_done\r
 123 diff --git a/performance-test/02-tag b/performance-test/02-tag\r
 124 deleted file mode 100755\r
 125 index 78ceccc..0000000\r
 126 --- a/performance-test/02-tag\r
 127 +++ /dev/null\r
 128 @@ -1,14 +0,0 @@\r
 129 -#!/bin/bash\r
 130 -\r
 131 -test_description='tagging'\r
 132 -\r
 133 -. ./perf-test-lib.sh\r
 134 -\r
 135 -time_start\r
 136 -\r
 137 -time_run 'tag * +new_tag' "notmuch tag +new_tag '*'"\r
 138 -time_run 'tag * +existing_tag' "notmuch tag +new_tag '*'"\r
 139 -time_run 'tag * -existing_tag' "notmuch tag -new_tag '*'"\r
 140 -time_run 'tag * -missing_tag' "notmuch tag -new_tag '*'"\r
 141 -\r
 142 -time_done\r
 143 diff --git a/performance-test/Makefile.local b/performance-test/Makefile.local\r
 144 index 3834e4d..57beb44 100644\r
 145 --- a/performance-test/Makefile.local\r
 146 +++ b/performance-test/Makefile.local\r
 147 @@ -10,7 +10,7 @@ SIGFILE := ${TXZFILE}.asc\r
 148  TEST_SCRIPT := ${dir}/notmuch-perf-test\r
 149  DEFAULT_URL :=  http://notmuchmail.org/releases/${CORPUS_NAME}\r
 150  \r
 151 -perf-test: setup-perf-test all\r
 152 +time-test: setup-perf-test all\r
 153         $(TEST_SCRIPT) $(OPTIONS)\r
 154  \r
 155  .PHONY: download-corpus setup-perf-test\r
 156 diff --git a/performance-test/README b/performance-test/README\r
 157 index 1481660..d1fb6de 100644\r
 158 --- a/performance-test/README\r
 159 +++ b/performance-test/README\r
 160 @@ -36,8 +36,8 @@ for a list of mirrors.\r
 161  Running tests\r
 162  -------------\r
 163  \r
 164 -The easiest way to run performance tests is to say "make perf-test", (or\r
 165 -simply run the notmuch-perf-test script). Either command will run all\r
 166 +The easiest way to run performance tests is to say "make time-test", (or\r
 167 +simply run the notmuch-time-test script). Either command will run all\r
 168  available performance tests.\r
 169  \r
 170  Alternately, you can run a specific subset of tests by simply invoking\r
 171 @@ -51,7 +51,7 @@ Each test script supports the following arguments\r
 172  Writing tests\r
 173  -------------\r
 174  \r
 175 -Have a look at "01-dump-restore" for an example. Sourcing\r
 176 +Have a look at "T01-dump-restore" for an example. Sourcing\r
 177  "perf-test-lib.sh" is mandatory.  Utility functions include\r
 178  \r
 179  - 'add_email_corpus' unpacks a set of messages and adds them to the database.\r
 180 @@ -65,4 +65,5 @@ Have a look at "01-dump-restore" for an example. Sourcing\r
 181  \r
 182  Scripts are run in the order specified in notmuch-perf-test. In the\r
 183  future this order might be chosen automatically so please follow the\r
 184 -convention of starting the name with two digits to specify the order.\r
 185 +convention of starting the name with 'T' followed by two digits to\r
 186 +specify the order.\r
 187 diff --git a/performance-test/T00-new b/performance-test/T00-new\r
 188 new file mode 100755\r
 189 index 0000000..553bb8b\r
 190 --- /dev/null\r
 191 +++ b/performance-test/T00-new\r
 192 @@ -0,0 +1,15 @@\r
 193 +#!/bin/bash\r
 194 +\r
 195 +test_description='notmuch new'\r
 196 +\r
 197 +. ./perf-test-lib.sh\r
 198 +\r
 199 +uncache_database\r
 200 +\r
 201 +time_start\r
 202 +\r
 203 +for i in $(seq 2 6); do\r
 204 +    time_run "notmuch new #$i" 'notmuch new'\r
 205 +done\r
 206 +\r
 207 +time_done\r
 208 diff --git a/performance-test/T01-dump-restore b/performance-test/T01-dump-restore\r
 209 new file mode 100755\r
 210 index 0000000..b2ff940\r
 211 --- /dev/null\r
 212 +++ b/performance-test/T01-dump-restore\r
 213 @@ -0,0 +1,13 @@\r
 214 +#!/bin/bash\r
 215 +\r
 216 +test_description='dump and restore'\r
 217 +\r
 218 +. ./perf-test-lib.sh\r
 219 +\r
 220 +time_start\r
 221 +\r
 222 +time_run 'load nmbug tags' 'notmuch restore --accumulate < corpus.tags/nmbug.sup-dump'\r
 223 +time_run 'dump *' 'notmuch dump > tags.out'\r
 224 +time_run 'restore *' 'notmuch restore < tags.out'\r
 225 +\r
 226 +time_done\r
 227 diff --git a/performance-test/T02-tag b/performance-test/T02-tag\r
 228 new file mode 100755\r
 229 index 0000000..78ceccc\r
 230 --- /dev/null\r
 231 +++ b/performance-test/T02-tag\r
 232 @@ -0,0 +1,14 @@\r
 233 +#!/bin/bash\r
 234 +\r
 235 +test_description='tagging'\r
 236 +\r
 237 +. ./perf-test-lib.sh\r
 238 +\r
 239 +time_start\r
 240 +\r
 241 +time_run 'tag * +new_tag' "notmuch tag +new_tag '*'"\r
 242 +time_run 'tag * +existing_tag' "notmuch tag +new_tag '*'"\r
 243 +time_run 'tag * -existing_tag' "notmuch tag -new_tag '*'"\r
 244 +time_run 'tag * -missing_tag' "notmuch tag -new_tag '*'"\r
 245 +\r
 246 +time_done\r
 247 diff --git a/performance-test/notmuch-perf-test b/performance-test/notmuch-perf-test\r
 248 deleted file mode 100755\r
 249 index fc39d8a..0000000\r
 250 --- a/performance-test/notmuch-perf-test\r
 251 +++ /dev/null\r
 252 @@ -1,27 +0,0 @@\r
 253 -#!/usr/bin/env bash\r
 254 -\r
 255 -# Run tests\r
 256 -#\r
 257 -# Copyright (c) 2005 Junio C Hamano\r
 258 -#\r
 259 -# Adapted from a Makefile to a shell script by Carl Worth (2010)\r
 260 -\r
 261 -if [ ${BASH_VERSINFO[0]} -lt 4 ]; then\r
 262 -    echo "Error: The notmuch test suite requires a bash version >= 4.0"\r
 263 -    echo "due to use of associative arrays within the test suite."\r
 264 -    echo "Please try again with a newer bash (or help us fix the"\r
 265 -    echo "test suite to be more portable). Thanks."\r
 266 -    exit 1\r
 267 -fi\r
 268 -\r
 269 -cd $(dirname "$0")\r
 270 -\r
 271 -TESTS="\r
 272 -  00-new\r
 273 -  01-dump-restore\r
 274 -  02-tag\r
 275 -"\r
 276 -\r
 277 -for test in $TESTS; do\r
 278 -    ./$test "$@"\r
 279 -done\r
 280 diff --git a/performance-test/notmuch-time-test b/performance-test/notmuch-time-test\r
 281 new file mode 100755\r
 282 index 0000000..54a208f\r
 283 --- /dev/null\r
 284 +++ b/performance-test/notmuch-time-test\r
 285 @@ -0,0 +1,27 @@\r
 286 +#!/usr/bin/env bash\r
 287 +\r
 288 +# Run tests\r
 289 +#\r
 290 +# Copyright (c) 2005 Junio C Hamano\r
 291 +#\r
 292 +# Adapted from a Makefile to a shell script by Carl Worth (2010)\r
 293 +\r
 294 +if [ ${BASH_VERSINFO[0]} -lt 4 ]; then\r
 295 +    echo "Error: The notmuch test suite requires a bash version >= 4.0"\r
 296 +    echo "due to use of associative arrays within the test suite."\r
 297 +    echo "Please try again with a newer bash (or help us fix the"\r
 298 +    echo "test suite to be more portable). Thanks."\r
 299 +    exit 1\r
 300 +fi\r
 301 +\r
 302 +cd $(dirname "$0")\r
 303 +\r
 304 +TESTS="\r
 305 +  T00-new\r
 306 +  T01-dump-restore\r
 307 +  T02-tag\r
 308 +"\r
 309 +\r
 310 +for test in $TESTS; do\r
 311 +    ./$test "$@"\r
 312 +done\r
 313 -- \r
 314 1.7.10.4\r
 315 \r