99/aa4612c14e53d5b999bcc5b02ca2bea0313a67

   1 Return-Path: <cworth@cworth.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 225EB431FBC\r
   6         for <notmuch@notmuchmail.org>; Thu, 11 Feb 2010 13:42:19 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -3.215\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-3.215 tagged_above=-999 required=5\r
  12         tests=[ALL_TRUSTED=-1.8, AWL=1.184, BAYES_00=-2.599] autolearn=ham\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id JegPAP-UlwIN; Thu, 11 Feb 2010 13:42:18 -0800 (PST)\r
  16 Received: from yoom.home.cworth.org (localhost [127.0.0.1])\r
  17         by olra.theworths.org (Postfix) with ESMTP id 08CB8431FAE;\r
  18         Thu, 11 Feb 2010 13:42:17 -0800 (PST)\r
  19 Received: by yoom.home.cworth.org (Postfix, from userid 1000)\r
  20         id 8C27025416E; Thu, 11 Feb 2010 13:42:15 -0800 (PST)\r
  21 From: Carl Worth <cworth@cworth.org>\r
  22 To: Michal Sojka <sojkam1@fel.cvut.cz>, notmuch@notmuchmail.org\r
  23 In-Reply-To: <201002081614.24284.sojkam1@fel.cvut.cz>\r
  24 References: <87ljf8pvxx.fsf@yoom.home.cworth.org>\r
  25         <87hbpwpoko.fsf@yoom.home.cworth.org>\r
  26         <5641883d1002060727ia4e6c16lf800a92fc8735430@mail.gmail.com>\r
  27         <201002081614.24284.sojkam1@fel.cvut.cz>\r
  28 Date: Thu, 11 Feb 2010 13:42:08 -0800\r
  29 Message-ID: <871vgr78lr.fsf@yoom.home.cworth.org>\r
  30 MIME-Version: 1.0\r
  31 Content-Type: multipart/signed; boundary="=-=-=";\r
  32         micalg=pgp-sha1; protocol="application/pgp-signature"\r
  33 Subject: Re: [notmuch] A functional (but rudimentary) test suite for notmuch\r
  34 X-BeenThere: notmuch@notmuchmail.org\r
  35 X-Mailman-Version: 2.1.13\r
  36 Precedence: list\r
  37 List-Id: "Use and development of the notmuch mail system."\r
  38         <notmuch.notmuchmail.org>\r
  39 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  40         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  41 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  42 List-Post: <mailto:notmuch@notmuchmail.org>\r
  43 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  44 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  45         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  46 X-List-Received-Date: Thu, 11 Feb 2010 21:42:19 -0000\r
  47 \r
  48 --=-=-=\r
  49 Content-Transfer-Encoding: quoted-printable\r
  50 \r
  51 Hi Michal,\r
  52 \r
  53 I found myself today *really* needing to add a test that exercises some\r
  54 code in our emacs client. (Eric found that a message that includes a ":"\r
  55 in the From: address breaks things due to a buggy regexp.) And I\r
  56 wanted to see if I could merge your conversion of the test suite before\r
  57 I added a feature as big as that. See below for my feedback.\r
  58 \r
  59 =2DCarl\r
  60 \r
  61 On Mon, 8 Feb 2010 16:14:24 +0100, Michal Sojka <sojkam1@fel.cvut.cz> wrote:\r
  62 > I converted the actual version of notmuch-test to git test framework.\r
  63 > The result is in the followup patches.\r
  64 \r
  65 Interesting. My only real concern at this point is that some of the new fil=\r
  66 es\r
  67 have a copyright header identifying Junio as the copyright holder, but\r
  68 no license information. Meanwhile, the implicit license of git (GPLv2\r
  69 only) is incompatible with that of notmuch (GPLv3+).\r
  70 \r
  71 So if you'd like to ask Junio for permission to re-use the files under\r
  72 the GPLv3+ then we could see what he says.\r
  73 \r
  74 In the meantime, you've done some nice modularization work here which we\r
  75 should be able to take right away, (and I can write tiny implementations\r
  76 of the functions we need so that we can just drop in git's test-lib.sh\r
  77 if we get permission).\r
  78 \r
  79 So we won't yet have any of the fancy features of the framework,\r
  80 (expected failures, reports of fixed tests, pre-requisites for tests),\r
  81 but we're not *using* any of those features yet so it shouldn't matter.\r
  82 \r
  83 > The conversion was not as straightforward as I expected mainly because\r
  84 > of problems with quoting. There are several sources of quotation problems\r
  85 > one being Carl's hashed array parameters. I thing it would be\r
  86 > sufficient to use plain variables for passing additional parameters.\r
  87 > Instead of:\r
  88 >     add_message [from]=3D"\"Sender <sender@example.com>\"" \\r
  89 >                 [to]=3Dtest_suite@notmuchmail.org \\r
  90 ...\r
  91 > I'd do:\r
  92 >     msg_from=3D"Sender <sender@example.com>"\r
  93 >     msg_to=3Dtest_suite@notmuchmail.org=20\r
  94 >     add_message\r
  95 \r
  96 Yeah. I almost wrote it that way, but named parameters (even if faked)\r
  97 seemed so much nicer. I'll agree that the quoting was quite nasty\r
  98 though.\r
  99 \r
 100 > A possible additional improvement is elimination of\r
 101 > execute_expecting(). Combination of action (running notmuch) and\r
 102 > testing of a result in a single function makes it hard to distinguish\r
 103 > whether the problem is in the action or in the output.\r
 104 \r
 105 A fair point. It also caused problems when I wanted to do tests that\r
 106 didn't directly test the output of notmuch, (such as a test that uses\r
 107 diff to compare a result against the contents in a file).\r
 108 \r
 109 =2DCarl\r
 110 \r
 111 --=-=-=\r
 112 Content-Type: application/pgp-signature\r
 113 \r
 114 -----BEGIN PGP SIGNATURE-----\r
 115 Version: GnuPG v1.4.10 (GNU/Linux)\r
 116 \r
 117 iD8DBQFLdHmw6JDdNq8qSWgRAlm+AJ9DL5aZugC0VXQf9Xt00FdQV8vlywCfQfoS\r
 118 HuKcqix5K++HS4S7CSUg+LQ=\r
 119 =X+JG\r
 120 -----END PGP SIGNATURE-----\r
 121 --=-=-=--\r