82/9034e7535ebc5b8ddf06273c638cd9aa901038

   1 Return-Path: <cworth@cworth.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id A125340D142\r
   6         for <notmuch@notmuchmail.org>; Wed, 13 Oct 2010 08:42:07 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -2.89\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-2.89 tagged_above=-999 required=5\r
  12         tests=[ALL_TRUSTED=-1, BAYES_00=-1.9, T_MIME_NO_TEXT=0.01]\r
  13         autolearn=ham\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id BeEFl7r2jpBg; Wed, 13 Oct 2010 08:41:55 -0700 (PDT)\r
  17 Received: from yoom.home.cworth.org (localhost [127.0.0.1])\r
  18         by olra.theworths.org (Postfix) with ESMTP id 869C440D141;\r
  19         Wed, 13 Oct 2010 08:41:55 -0700 (PDT)\r
  20 Received: by yoom.home.cworth.org (Postfix, from userid 1000)\r
  21         id 237FD54C05C; Wed, 13 Oct 2010 08:41:55 -0700 (PDT)\r
  22 From: Carl Worth <cworth@cworth.org>\r
  23 To: Michal Sojka <sojkam1@fel.cvut.cz>, notmuch@notmuchmail.org\r
  24 Subject: Re: [PATCH v3 0/5] Git-based modularization of test suite\r
  25 In-Reply-To: <87pqve1cuw.fsf@steelpick.2x.cz>\r
  26 References: <1276152484-1164-1-git-send-email-sojkam1@fel.cvut.cz>\r
  27         <874odkm4ey.fsf@yoom.home.cworth.org>\r
  28         <87tyliun06.fsf@steelpick.2x.cz> <87pqve1cuw.fsf@steelpick.2x.cz>\r
  29 User-Agent: Notmuch/0.3.1-90-g8071c5c (http://notmuchmail.org) Emacs/23.2.1\r
  30         (i486-pc-linux-gnu)\r
  31 Date: Wed, 13 Oct 2010 08:41:54 -0700\r
  32 Message-ID: <87d3rehzgd.fsf@yoom.home.cworth.org>\r
  33 MIME-Version: 1.0\r
  34 Content-Type: multipart/signed; boundary="=-=-=";\r
  35         micalg=pgp-sha1; protocol="application/pgp-signature"\r
  36 X-BeenThere: notmuch@notmuchmail.org\r
  37 X-Mailman-Version: 2.1.13\r
  38 Precedence: list\r
  39 List-Id: "Use and development of the notmuch mail system."\r
  40         <notmuch.notmuchmail.org>\r
  41 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  42         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  43 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  44 List-Post: <mailto:notmuch@notmuchmail.org>\r
  45 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  46 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  47         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  48 X-List-Received-Date: Wed, 13 Oct 2010 15:42:07 -0000\r
  49 \r
  50 --=-=-=\r
  51 Content-Transfer-Encoding: quoted-printable\r
  52 \r
  53 On Wed, 13 Oct 2010 14:44:23 +0200, Michal Sojka <sojkam1@fel.cvut.cz> wrot=\r
  54 e:\r
  55 > here is my experience with test_begin_subtest and test_expect_equal\r
  56 > functions in test-lib.sh. I see there two significant differences from\r
  57 > the git's test_expect_success and similar functions.\r
  58 >=20\r
  59 > First, when the test fails, you only see the differences in the real\r
  60 > output and the expected output. If you use test_expect_success you also\r
  61 > see the actual commands that were executed.\r
  62 \r
  63 Yes. For me, I never found the printing of the exact commands as\r
  64 something useful. We probably should fix our test suite to behave\r
  65 consistently regardless of which interface is used.\r
  66 \r
  67 > Second, when some command between test_begin_subtest and\r
  68 > test_expect_success fails (e.g. because of segfault) you may not detect\r
  69 > it. You can add "set -e" the test-lib.sh (see the patch bellow), but in\r
  70 > this case when a test fails you would see\r
  71 >=20\r
  72 >   FATAL: Unexpected exit with code 1\r
  73 >=20\r
  74 > without any additional information.\r
  75 \r
  76 What do you recommend here?\r
  77 \r
  78 Frankly, I'm fine if the test cases are easy to read, (and I think they\r
  79 are easier without having many commands chained by "&&" and concatenated\r
  80 into a single string). Then if any test fails, (whether a segfault or\r
  81 simply incorrect output), it shouldn't be hard to just open the test\r
  82 case and manually inspect the commands.\r
  83 \r
  84 But if you've got some idea for anything more useful, (some magic action\r
  85 with trap for example?), I'd be glad to hear it.\r
  86 \r
  87 =2DCarl\r
  88 \r
  89 =2D-=20\r
  90 carl.d.worth@intel.com\r
  91 \r
  92 --=-=-=\r
  93 Content-Type: application/pgp-signature\r
  94 \r
  95 -----BEGIN PGP SIGNATURE-----\r
  96 Version: GnuPG v1.4.10 (GNU/Linux)\r
  97 \r
  98 iD8DBQFMtdNC6JDdNq8qSWgRArxeAJ9sr3gVjZK4x4CnTW1NgxSZ4neKsQCfcSY9\r
  99 5wRtwuDgZ9z7BHNbvaFWcr0=\r
 100 =rP3a\r
 101 -----END PGP SIGNATURE-----\r
 102 --=-=-=--\r