9e/2b6fdd5ab0618967b42ae38728bd8ed1f444fc

   1 Return-Path: <bremner@unb.ca>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 08D53431FAF\r
   6         for <notmuch@notmuchmail.org>; Sun, 25 Nov 2012 16:05:53 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 0\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=0 tagged_above=-999 required=5 tests=[none]\r
  12         autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id DG3h5vQDF2tl for <notmuch@notmuchmail.org>;\r
  16         Sun, 25 Nov 2012 16:05:52 -0800 (PST)\r
  17 Received: from tesseract.cs.unb.ca (tesseract.cs.unb.ca [131.202.240.238])\r
  18         (using TLSv1 with cipher AES256-SHA (256/256 bits))\r
  19         (No client certificate requested)\r
  20         by olra.theworths.org (Postfix) with ESMTPS id 78C52431FAE\r
  21         for <notmuch@notmuchmail.org>; Sun, 25 Nov 2012 16:05:52 -0800 (PST)\r
  22 Received: from fctnnbsc30w-156034089108.dhcp-dynamic.fibreop.nb.bellaliant.net\r
  23         ([156.34.89.108] helo=zancas.localnet)\r
  24         by tesseract.cs.unb.ca with esmtpsa\r
  25         (TLS1.0:DHE_RSA_AES_128_CBC_SHA1:16) (Exim 4.72)\r
  26         (envelope-from <bremner@unb.ca>)\r
  27         id 1TcmCs-0007pZ-Vu; Sun, 25 Nov 2012 20:05:51 -0400\r
  28 Received: from bremner by zancas.localnet with local (Exim 4.80)\r
  29         (envelope-from <bremner@unb.ca>)\r
  30         id 1TcmCm-0005SZ-JH; Sun, 25 Nov 2012 20:05:44 -0400\r
  31 From: David Bremner <david@tethera.net>\r
  32 To: Austin Clements <amdragon@MIT.EDU>\r
  33 Subject: Re: [Patch v4 2/2] test: initial performance testing infrastructure\r
  34 In-Reply-To: <20121125214023.GO4562@mit.edu>\r
  35 References: <1353855745-11697-1-git-send-email-david@tethera.net>\r
  36         <1353855745-11697-3-git-send-email-david@tethera.net>\r
  37         <20121125214023.GO4562@mit.edu>\r
  38 User-Agent: Notmuch/0.14+75~g984212d (http://notmuchmail.org) Emacs/24.1.1\r
  39         (x86_64-pc-linux-gnu)\r
  40 Date: Sun, 25 Nov 2012 20:05:42 -0400\r
  41 Message-ID: <87obilut2h.fsf@zancas.localnet>\r
  42 MIME-Version: 1.0\r
  43 Content-Type: text/plain\r
  44 X-Spam_bar: -\r
  45 Cc: notmuch@notmuchmail.org\r
  46 X-BeenThere: notmuch@notmuchmail.org\r
  47 X-Mailman-Version: 2.1.13\r
  48 Precedence: list\r
  49 List-Id: "Use and development of the notmuch mail system."\r
  50         <notmuch.notmuchmail.org>\r
  51 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  52         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  53 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  54 List-Post: <mailto:notmuch@notmuchmail.org>\r
  55 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  56 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  57         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  58 X-List-Received-Date: Mon, 26 Nov 2012 00:05:53 -0000\r
  59 \r
  60 Austin Clements <amdragon@MIT.EDU> writes:\r
  61 \r
  62 >> +subdirs := compat completion emacs lib man parse-time-string\r
  63 >> +subdirs := $(subdirs) performance-test util test\r
  64 \r
  65 > += ?\r
  66 >\r
  67 \r
  68 Sure.\r
  69 \r
  70 >> +CORPUS_NAME := notmuch-email-corpus-$(PERFTEST_VERSION).tar.xz\r
  71 >\r
  72 > Would it make sense to split out the different size corpora so a user\r
  73 > could, say, only download the small one?\r
  74 \r
  75 Currently the choice of test is local to given test file; one doing\r
  76 something particularly intense (or just lots of repetitions) might want\r
  77 to only use a subset. So I'm not sure if separate downloading of smaller\r
  78 corpora makes sense. This is all hypothetical at the moment, since the\r
  79 one test file uses the full corpus.\r
  80 \r
  81 > "\nPlease download ${TXZFILE} using\n\n"?\r
  82 \r
  83 OK\r
  84 \r
  85 >> +add_email_corpus takes arguments "--small" and "--medium" for when you\r
  86 >> +want smaller corpuses to check.\r
  87 >\r
  88 > "corpora"?\r
  89 \r
  90 reworded to say \r
  91 \r
  92 ,----\r
  93 | add_email_corpus takes arguments "--small" and "--medium" for when you\r
  94 | want smaller subsets of the corpus to check.\r
  95 `----\r
  96 \r
  97 >\r
  98 > I'm a bit confused by this.  What happens if you don't specify --small\r
  99 > or --medium?  Is the "large"/default corpus just the combined small\r
 100 > and medium corpora?  Would be worth a comment, at least.\r
 101 \r
 102 Hopefully the README makes this clear(er) now?\r
 103 \r
 104 > This probably doesn't matter now, but I wonder if we want to unpack on\r
 105 > first use to somewhere not test-specific and then cp -rl the corpus\r
 106 > into the test directory.  I haven't tried unpacking the corpus yet,\r
 107 > but if you're running tests repeatedly to compare results, or running\r
 108 > more than one performance test, it seems like a full decompress and\r
 109 > unpack could get onerous.\r
 110 \r
 111 Hmm. On my machine it is 10s for the copy versus 45s for a full\r
 112 unpack. For some reason I tested with "cp -a" which is incredibly slow, \r
 113 so I thought there was no loss. For comparison the basic test takes\r
 114 about 10 minutes on the same machine.\r
 115 \r
 116 In any case this can wait until we have a second test file and a second\r
 117 call to add_mail_corpus, adding caching now would not help.\r