fb/825fa6c406782e35fd339697cac13f0d2c8d31

   1 Return-Path: <amdragon@mit.edu>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id A097A431FAE\r
   6         for <notmuch@notmuchmail.org>; Tue,  4 Dec 2012 21:03:04 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.7\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
  12         tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id xjEoeRQIty46 for <notmuch@notmuchmail.org>;\r
  16         Tue,  4 Dec 2012 21:03:00 -0800 (PST)\r
  17 Received: from dmz-mailsec-scanner-3.mit.edu (DMZ-MAILSEC-SCANNER-3.MIT.EDU\r
  18         [18.9.25.14])\r
  19         by olra.theworths.org (Postfix) with ESMTP id 0BB0F431FB6\r
  20         for <notmuch@notmuchmail.org>; Tue,  4 Dec 2012 21:02:59 -0800 (PST)\r
  21 X-AuditID: 1209190e-b7f516d0000008e4-98-50bed582bbeb\r
  22 Received: from mailhub-auth-2.mit.edu ( [18.7.62.36])\r
  23         by dmz-mailsec-scanner-3.mit.edu (Symantec Messaging Gateway) with SMTP\r
  24         id 4E.08.02276.285DEB05; Wed,  5 Dec 2012 00:02:58 -0500 (EST)\r
  25 Received: from outgoing.mit.edu (OUTGOING-AUTH.MIT.EDU [18.7.22.103])\r
  26         by mailhub-auth-2.mit.edu (8.13.8/8.9.2) with ESMTP id qB552v5C011663; \r
  27         Wed, 5 Dec 2012 00:02:58 -0500\r
  28 Received: from awakening.csail.mit.edu (awakening.csail.mit.edu [18.26.4.91])\r
  29         (authenticated bits=0)\r
  30         (User authenticated as amdragon@ATHENA.MIT.EDU)\r
  31         by outgoing.mit.edu (8.13.6/8.12.4) with ESMTP id qB552tIU020186\r
  32         (version=TLSv1/SSLv3 cipher=DHE-RSA-AES128-SHA bits=128 verify=NOT);\r
  33         Wed, 5 Dec 2012 00:02:57 -0500 (EST)\r
  34 Received: from amthrax by awakening.csail.mit.edu with local (Exim 4.80)\r
  35         (envelope-from <amdragon@mit.edu>)\r
  36         id 1Tg78J-0004ih-Mq; Wed, 05 Dec 2012 00:02:55 -0500\r
  37 From: Austin Clements <aclements@csail.mit.edu>\r
  38 To: david@tethera.net, notmuch@notmuchmail.org\r
  39 Subject: Re: [PATCH 3/3] perf-test: add caching of xapian database.\r
  40 In-Reply-To: <1354583824-10520-3-git-send-email-david@tethera.net>\r
  41 References: <1354583824-10520-1-git-send-email-david@tethera.net>\r
  42         <1354583824-10520-3-git-send-email-david@tethera.net>\r
  43 User-Agent: Notmuch/0.14+100~gcb9b0b0 (http://notmuchmail.org) Emacs/23.4.1\r
  44         (i486-pc-linux-gnu)\r
  45 Date: Wed, 05 Dec 2012 00:02:55 -0500\r
  46 Message-ID: <87sj7lccqo.fsf@awakening.csail.mit.edu>\r
  47 MIME-Version: 1.0\r
  48 Content-Type: text/plain; charset=us-ascii\r
  49 X-Brightmail-Tracker:\r
  50  H4sIAAAAAAAAA+NgFmpkleLIzCtJLcpLzFFi42IRYrdT0W26ui/A4FCTjcXGZT+ZLW60djNa\r
  51         XL85k9mB2eNX21xmj2erbjF7bDn0njmAOYrLJiU1J7MstUjfLoEro+PwNuaCe9IVj1cuY2lg\r
  52         nCnWxcjJISFgIvH/xElWCFtM4sK99WxdjFwcQgL7GCUmftvDAuGsZ5T4M+UtM4RzgUni9tQ/\r
  53         7BDOEkaJ219aGEH62QT0JVasnQQ0i4NDREBPYuFWGZAws4CaxKQ1Z9hBbGEBZ4mnpxrZQUo4\r
  54         BZwkFjTUgoSFBMoldnb+YQEJiwrES1xeqgASZhFQlbg3rYMNxOYFOnTjhu3MELagxMmZT1gg\r
  55         pmtJ3Pj3kmkCo+AsJKlZSFILGJlWMcqm5Fbp5iZm5hSnJusWJyfm5aUW6Rrr5WaW6KWmlG5i\r
  56         BIUupyTfDsavB5UOMQpwMCrx8Eoa7wsQYk0sK67MPcQoycGkJMrbdgQoxJeUn1KZkVicEV9U\r
  57         mpNafIhRgoNZSYT3nx1QjjclsbIqtSgfJiXNwaIkznsl5aa/kEB6YklqdmpqQWoRTFaGg0NJ\r
  58         gvfWFaBGwaLU9NSKtMycEoQ0EwcnyHAeoOGKV0GGFxck5hZnpkPkTzHqcvT+63rCKMSSl5+X\r
  59         KiXO+x9kkABIUUZpHtwcWMp5xSgO9JYwLyfIKB5guoKb9ApoCRPQkhdCu0GWlCQipKQaGH1t\r
  60         ZpQ+ERf4XLYtjW/i2p2KT6NrA7P19vTu+XKTRdlM7slq8ZmmLefs7gkcS3hhufuJlp2+zUuG\r
  61         9reHS43FdvRkSjWe8ZCbpvOodOf81XaBnQ8aq5drPr1q8+Wqqdnx94E83Zkv416st3Cw5JnZ\r
  62         HnbSftH2oAOTWqfGulk+jr1xZraq1qln8UosxRmJhlrMRcWJAPmOwFsUAwAA\r
  63 Cc: David Bremner <bremner@debian.org>\r
  64 X-BeenThere: notmuch@notmuchmail.org\r
  65 X-Mailman-Version: 2.1.13\r
  66 Precedence: list\r
  67 List-Id: "Use and development of the notmuch mail system."\r
  68         <notmuch.notmuchmail.org>\r
  69 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  70         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  71 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  72 List-Post: <mailto:notmuch@notmuchmail.org>\r
  73 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  74 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  75         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  76 X-List-Received-Date: Wed, 05 Dec 2012 05:03:04 -0000\r
  77 \r
  78 This seems like an odd way to do this.  Timing the initial notmuch new\r
  79 seems like the goal of exactly one performance test and irrelevant to\r
  80 the others.  What about splitting "basic" into two tests: an explicit\r
  81 notmuch new performance test and a separate test that does\r
  82 dump/restore/tag.  The second test can always use a cached notmuch\r
  83 database (creating it if necessary).  If you want to be really kind, the\r
  84 notmuch new performance test could save its result as the database cache\r
  85 if there isn't a database cache; then people don't have to build the\r
  86 database twice if they (or notmuch-perf-test) run the tests in the right\r
  87 order.\r
  88 \r
  89 On Mon, 03 Dec 2012, david@tethera.net wrote:\r
  90 > From: David Bremner <bremner@debian.org>\r
  91 >\r
  92 > The caching and uncaching seem to be necessarily manual, as timing the\r
  93 > initial notmuch new is one of our goals with this suite.\r
  94 > ---\r
  95 >  performance-test/.gitignore       |    1 +\r
  96 >  performance-test/Makefile.local   |    2 +-\r
  97 >  performance-test/basic            |    5 +++++\r
  98 >  performance-test/perf-test-lib.sh |   18 ++++++++++++++++++\r
  99 >  4 files changed, 25 insertions(+), 1 deletion(-)\r
 100 >\r
 101 > diff --git a/performance-test/.gitignore b/performance-test/.gitignore\r
 102 > index 7e20f7c..779a115 100644\r
 103 > --- a/performance-test/.gitignore\r
 104 > +++ b/performance-test/.gitignore\r
 105 > @@ -1,2 +1,3 @@\r
 106 >  tmp.*/\r
 107 >  corpus.mail.*/\r
 108 > +notmuch.cache.*/\r
 109 > diff --git a/performance-test/Makefile.local b/performance-test/Makefile.local\r
 110 > index eb713d0..b136a88 100644\r
 111 > --- a/performance-test/Makefile.local\r
 112 > +++ b/performance-test/Makefile.local\r
 113 > @@ -29,4 +29,4 @@ $(TXZFILE):\r
 114 >  download-corpus:\r
 115 >       wget -O ${TXZFILE} ${DEFAULT_URL}\r
 116 >  \r
 117 > -CLEAN := $(CLEAN) $(dir)/tmp.* $(dir)/corpus.mail.*\r
 118 > +CLEAN := $(CLEAN) $(dir)/tmp.* $(dir)/corpus.mail.* $(dir)/notmuch.cache.*\r
 119 > diff --git a/performance-test/basic b/performance-test/basic\r
 120 > index 9d015ee..41a7ff1 100755\r
 121 > --- a/performance-test/basic\r
 122 > +++ b/performance-test/basic\r
 123 > @@ -2,11 +2,16 @@\r
 124 >  \r
 125 >  . ./perf-test-lib.sh\r
 126 >  \r
 127 > +uncache_database\r
 128 > +\r
 129 >  add_email_corpus\r
 130 >  \r
 131 >  print_header\r
 132 >  \r
 133 >  time_run 'initial notmuch new' 'notmuch new'\r
 134 > +\r
 135 > +cache_database\r
 136 > +\r
 137 >  time_run 'second notmuch new' 'notmuch new'\r
 138 >  time_run 'dump *' 'notmuch dump > tags.out'\r
 139 >  time_run 'restore *' 'notmuch restore < tags.out'\r
 140 > diff --git a/performance-test/perf-test-lib.sh b/performance-test/perf-test-lib.sh\r
 141 > index 9fbf874..c9b131a 100644\r
 142 > --- a/performance-test/perf-test-lib.sh\r
 143 > +++ b/performance-test/perf-test-lib.sh\r
 144 > @@ -36,6 +36,8 @@ then\r
 145 >  fi\r
 146 >  \r
 147 >  CORPUS_DIR=${TEST_DIRECTORY}/corpus.mail.$corpus_size\r
 148 > +DB_CACHE_DIR=${TEST_DIRECTORY}/notmuch.cache.$corpus_size\r
 149 > +\r
 150 >  add_email_corpus ()\r
 151 >  {\r
 152 >      rm -rf ${MAIL_DIR}\r
 153 > @@ -69,9 +71,25 @@ add_email_corpus ()\r
 154 >       printf "\n"\r
 155 >  \r
 156 >      fi\r
 157 > +\r
 158 >      cp -lr $CORPUS_DIR $MAIL_DIR\r
 159 > +\r
 160 > +    if [ -d $DB_CACHE_DIR ]; then\r
 161 > +     cp -r $DB_CACHE_DIR ${MAIL_DIR}/.notmuch\r
 162 > +    fi\r
 163 >  }\r
 164 >  \r
 165 > +cache_database () {\r
 166 > +    if [ -d $MAIL_DIR/.notmuch ]; then\r
 167 > +     cp -r $MAIL_DIR/.notmuch $DB_CACHE_DIR\r
 168 > +    else\r
 169 > +     echo "Warning: No database found to cache"\r
 170 > +    fi\r
 171 > +}\r
 172 > +\r
 173 > +uncache_database () {\r
 174 > +    rm -rf $DB_CACHE_DIR\r
 175 > +}\r
 176 >  \r
 177 >  print_header () {\r
 178 >      printf "[v%4s]               Wall(s)\tUsr(s)\tSys(s)\tRes(K)\tIn(512B)\tOut(512B)\n" \\r
 179 > -- \r
 180 > 1.7.10.4\r
 181 >\r
 182 > _______________________________________________\r
 183 > notmuch mailing list\r
 184 > notmuch@notmuchmail.org\r
 185 > http://notmuchmail.org/mailman/listinfo/notmuch\r