e4/951e633c0c0b44b49897d032012680bf51335c

   1 Return-Path: <cworth@cworth.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id F1F6740DBD5\r
   6         for <notmuch@notmuchmail.org>; Wed, 10 Nov 2010 13:16:03 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -2.89\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-2.89 tagged_above=-999 required=5\r
  12         tests=[ALL_TRUSTED=-1, BAYES_00=-1.9, T_MIME_NO_TEXT=0.01]\r
  13         autolearn=ham\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id RScAXmhgY+q0; Wed, 10 Nov 2010 13:15:53 -0800 (PST)\r
  17 Received: from yoom.home.cworth.org (localhost [127.0.0.1])\r
  18         by olra.theworths.org (Postfix) with ESMTP id 8A49E40DBC6;\r
  19         Wed, 10 Nov 2010 13:15:53 -0800 (PST)\r
  20 Received: by yoom.home.cworth.org (Postfix, from userid 1000)\r
  21         id 3176525412B; Wed, 10 Nov 2010 13:15:53 -0800 (PST)\r
  22 From: Carl Worth <cworth@cworth.org>\r
  23 To: Michal Sojka <sojkam1@fel.cvut.cz>, notmuch@notmuchmail.org\r
  24 Subject: Re: [PATCH] test: Better handling of stdout and stderr\r
  25 In-Reply-To: <1289346035-24904-1-git-send-email-sojkam1@fel.cvut.cz>\r
  26 References: <1289346035-24904-1-git-send-email-sojkam1@fel.cvut.cz>\r
  27 User-Agent: Notmuch/0.4 (http://notmuchmail.org) Emacs/23.2.1\r
  28         (i486-pc-linux-gnu)\r
  29 Date: Wed, 10 Nov 2010 13:15:45 -0800\r
  30 Message-ID: <87k4kkq3r2.fsf@yoom.home.cworth.org>\r
  31 MIME-Version: 1.0\r
  32 Content-Type: multipart/signed; boundary="=-=-=";\r
  33         micalg=pgp-sha1; protocol="application/pgp-signature"\r
  34 X-BeenThere: notmuch@notmuchmail.org\r
  35 X-Mailman-Version: 2.1.13\r
  36 Precedence: list\r
  37 List-Id: "Use and development of the notmuch mail system."\r
  38         <notmuch.notmuchmail.org>\r
  39 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  40         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  41 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  42 List-Post: <mailto:notmuch@notmuchmail.org>\r
  43 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  44 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  45         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  46 X-List-Received-Date: Wed, 10 Nov 2010 21:16:04 -0000\r
  47 \r
  48 --=-=-=\r
  49 Content-Transfer-Encoding: quoted-printable\r
  50 \r
  51 On Wed, 10 Nov 2010 00:40:35 +0100, Michal Sojka <sojkam1@fel.cvut.cz> wrot=\r
  52 e:\r
  53 > Git-style tests suppress stdout and stderr unless -v is given.\r
  54 > cworth-style tests (created by test_begin_subtest, test_expect_equal)\r
  55 > do not have this behavior so implement it the same.\r
  56 >=20\r
  57 > Additionally, for both test styles, the test-lib.sh is changed so that\r
  58 > the content of suppressed stdout and stderr is shown in case of failed\r
  59 > test.\r
  60 >=20\r
  61 > Finally a test for this functionality is added to basic tests\r
  62 \r
  63 This looks like some great stuff, Michal! I especially like the way you\r
  64 are testing the test-suite framework itself[*].\r
  65 \r
  66 I did have one local commit to test-lib.sh that broke this slightly, (I\r
  67 changed it so that you will now get intermediate files like\r
  68 test-verbose.4.out rather than test.4.out). That would have been easy\r
  69 enough to fix, but I also noticed output like the following from "make\r
  70 test":\r
  71 \r
  72 ...\r
  73          PASS   Search by to: (address)\r
  74          PASS   Search by to: (name)\r
  75          PASS   Search by subject: (phrase)\r
  76         json: Testing --format=3Djson output\r
  77          PASS   Show message: json\r
  78          PASS   Search message: json\r
  79          PASS   Search by subject (utf-8):\r
  80          PASS   Show message: json, utf-8\r
  81          PASS   Search message: json, utf-8\r
  82 =20=20=20=20=20=20=20=20=20\r
  83         thread-naming: Testing naming of threads with changing subject\r
  84         raw: Testing notmuch show --format=3Draw\r
  85          PASS   Generate some messages\r
  86          PASS   Attempt to show multiple raw messages\r
  87 ...\r
  88 \r
  89 At first I thought the change just caused some newlines to be dropped,\r
  90 (such as the missing newline just before the "json" line). But then I\r
  91 noticed that all output from all of the thread-naming tests is entirely\r
  92 missing.\r
  93 \r
  94 Do you want to look into what's going on there?\r
  95 \r
  96 Meanwhile, I've just now pushed out my little test-lib.sh change, so you\r
  97 can update the patch for that as well.\r
  98 \r
  99 Thanks,\r
 100 \r
 101 =2DCarl\r
 102 \r
 103 [*] The current git test suite tries to do some things like this, but\r
 104 not as cleverly. So it actually reports a FAIL and a BROKEN test when in\r
 105 fact it's only trying to exercise the parts of the test suite that\r
 106 report FAIL and BROKEN. I found that objectionable, so simply removed\r
 107 those tests. But calling to a subordinate test that would report FAIL\r
 108 and then reporting PASS after checking that would be just fine. That's a\r
 109 change we could implement and even contribute upstream to the git\r
 110 project itself.\r
 111 \r
 112 =2D-=20\r
 113 carl.d.worth@intel.com\r
 114 \r
 115 --=-=-=\r
 116 Content-Type: application/pgp-signature\r
 117 \r
 118 -----BEGIN PGP SIGNATURE-----\r
 119 Version: GnuPG v1.4.10 (GNU/Linux)\r
 120 \r
 121 iD8DBQFM2wuB6JDdNq8qSWgRAv3vAJ9NeaK0icfj9/+9GtVLIBO1jfDEZgCgmI6W\r
 122 fA/F3EcxfByPmF6toktPmF4=\r
 123 =mrFS\r
 124 -----END PGP SIGNATURE-----\r
 125 --=-=-=--\r