f0/33e9716eb6f8aa6d2b6d3b478feadcbe767436

   1 Return-Path: <cworth@cworth.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id A2C3940BFD3\r
   6         for <notmuch@notmuchmail.org>; Mon, 20 Sep 2010 15:33:28 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -2.89\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-2.89 tagged_above=-999 required=5\r
  12         tests=[ALL_TRUSTED=-1, BAYES_00=-1.9, T_MIME_NO_TEXT=0.01]\r
  13         autolearn=ham\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id 8lb0jveAW9XF; Mon, 20 Sep 2010 15:33:16 -0700 (PDT)\r
  17 Received: from yoom.home.cworth.org (localhost [127.0.0.1])\r
  18         by olra.theworths.org (Postfix) with ESMTP id 9347740BC9C;\r
  19         Mon, 20 Sep 2010 15:33:16 -0700 (PDT)\r
  20 Received: by yoom.home.cworth.org (Postfix, from userid 1000)\r
  21         id 3DFD4568E44; Mon, 20 Sep 2010 15:33:16 -0700 (PDT)\r
  22 From: Carl Worth <cworth@cworth.org>\r
  23 To: Michal Sojka <sojkam1@fel.cvut.cz>, notmuch@notmuchmail.org\r
  24 Subject: Re: [PATCH v3 0/5] Git-based modularization of test suite\r
  25 In-Reply-To: <1276152484-1164-1-git-send-email-sojkam1@fel.cvut.cz>\r
  26 References: <1276152484-1164-1-git-send-email-sojkam1@fel.cvut.cz>\r
  27 User-Agent: Notmuch/0.3.1-61-g9f0accb (http://notmuchmail.org) Emacs/23.2.1\r
  28         (i486-pc-linux-gnu)\r
  29 Date: Mon, 20 Sep 2010 15:33:09 -0700\r
  30 Message-ID: <874odkm4ey.fsf@yoom.home.cworth.org>\r
  31 MIME-Version: 1.0\r
  32 Content-Type: multipart/signed; boundary="=-=-=";\r
  33         micalg=pgp-sha1; protocol="application/pgp-signature"\r
  34 X-BeenThere: notmuch@notmuchmail.org\r
  35 X-Mailman-Version: 2.1.13\r
  36 Precedence: list\r
  37 List-Id: "Use and development of the notmuch mail system."\r
  38         <notmuch.notmuchmail.org>\r
  39 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  40         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  41 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  42 List-Post: <mailto:notmuch@notmuchmail.org>\r
  43 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  44 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  45         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  46 X-List-Received-Date: Mon, 20 Sep 2010 22:33:28 -0000\r
  47 \r
  48 --=-=-=\r
  49 Content-Transfer-Encoding: quoted-printable\r
  50 \r
  51 > Michal Sojka (5):\r
  52 >   Copy test framework from Git\r
  53 >   Update test framework for use with notmuch\r
  54 >   test: Update helper functions\r
  55 >   Convert the actual tests to the new framework\r
  56 >   test: Set all times to UTC\r
  57 \r
  58 Hi Michal,\r
  59 \r
  60 Thanks for sending this, (and patiently sending in three versions of\r
  61 it).\r
  62 \r
  63 I've now pushed this out, along with some changes of my own on top of\r
  64 it. My changes make things in the test suite look more like they did\r
  65 before the git-based modularization, (both output from the test suite\r
  66 and how the tests themselves are written). I couldn't stand the approach\r
  67 of doing long chains of shell commands within strings for the tests, and\r
  68 I also didn't like the numeric filenames.\r
  69 \r
  70 Take a look at what I've done, and let me know if I defeated any\r
  71 intended benefits of the git-based modularization of the test suite.\r
  72 \r
  73 One problem with the current arrangement is that all tests now start\r
  74 with an empty database of messages. This means that the search tests\r
  75 aren't giving as much test coverage. And the dump/restore tests are\r
  76 actually testing nothing at all!\r
  77 \r
  78 I think what I'd prefer to have is for test-lib.sh to populate a\r
  79 non-empty database (it could even provide a function to reset the\r
  80 database to empty for any tests that actually want that).\r
  81 \r
  82 For efficiency, the non-empty database could be created just once at the\r
  83 first invocation and then could simply be copied into place for future\r
  84 invocations.\r
  85 \r
  86 If anyone wants to help fix that, that would be great.\r
  87 \r
  88 =2DCarl\r
  89 \r
  90 PS. The valgrind support[*] in the newly modularized test suite helped\r
  91 me find a use-after-free bug in the current code base, so that's already\r
  92 a useful result here. Thanks again!\r
  93 \r
  94 [*] The valgrind support isn't ideal yet since it's not actually\r
  95 flagging failures since the test suite isn't currently looking at return\r
  96 values of valgrind/notmuch. This is arguably my fault since I got rid of\r
  97 the ugly 'command && another_command && yet_another_command' syntax. I'd\r
  98 like to see a way to fix the valgrind support without introducing that\r
  99 awful syntax. I'm open to ideas.\r
 100 \r
 101 =2D-=20\r
 102 carl.d.worth@intel.com\r
 103 \r
 104 --=-=-=\r
 105 Content-Type: application/pgp-signature\r
 106 \r
 107 -----BEGIN PGP SIGNATURE-----\r
 108 Version: GnuPG v1.4.10 (GNU/Linux)\r
 109 \r
 110 iD8DBQFMl+Em6JDdNq8qSWgRAlA9AKCMGECE/qWTpXXJ743FWFvwaRU7xwCfe3fm\r
 111 oSFAWYkOPOvZ3ryr/EwrztQ=\r
 112 =HU0B\r
 113 -----END PGP SIGNATURE-----\r
 114 --=-=-=--\r