0a/3b61b09aad7e16b5804a616d6f38880dbcacf8

   1 Return-Path: <sojkam1@fel.cvut.cz>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id AF56640D147\r
   6         for <notmuch@notmuchmail.org>; Wed, 13 Oct 2010 05:44:38 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -1.9\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-1.9 tagged_above=-999 required=5\r
  12         tests=[BAYES_00=-1.9] autolearn=ham\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id cW7q6Z1H6Dk4 for <notmuch@notmuchmail.org>;\r
  16         Wed, 13 Oct 2010 05:44:26 -0700 (PDT)\r
  17 Received: from max.feld.cvut.cz (max.feld.cvut.cz [147.32.192.36])\r
  18         by olra.theworths.org (Postfix) with ESMTP id D03FA40D144\r
  19         for <notmuch@notmuchmail.org>; Wed, 13 Oct 2010 05:44:25 -0700 (PDT)\r
  20 Received: from localhost (unknown [192.168.200.4])\r
  21         by max.feld.cvut.cz (Postfix) with ESMTP id 3A21919F334C;\r
  22         Wed, 13 Oct 2010 14:44:25 +0200 (CEST)\r
  23 X-Virus-Scanned: IMAP AMAVIS\r
  24 Received: from max.feld.cvut.cz ([192.168.200.1])\r
  25         by localhost (styx.feld.cvut.cz [192.168.200.4]) (amavisd-new,\r
  26         port 10044)\r
  27         with ESMTP id b71mRgYWVbMi; Wed, 13 Oct 2010 14:44:24 +0200 (CEST)\r
  28 Received: from imap.feld.cvut.cz (imap.feld.cvut.cz [147.32.192.34])\r
  29         by max.feld.cvut.cz (Postfix) with ESMTP id 0047319F3373;\r
  30         Wed, 13 Oct 2010 14:44:23 +0200 (CEST)\r
  31 Received: from steelpick.2x.cz (note-sojka.felk.cvut.cz [147.32.86.30])\r
  32         (Authenticated sender: sojkam1)\r
  33         by imap.feld.cvut.cz (Postfix) with ESMTPSA id 005E615C082;\r
  34         Wed, 13 Oct 2010 14:44:23 +0200 (CEST)\r
  35 Received: from wsh by steelpick.2x.cz with local (Exim 4.72)\r
  36         (envelope-from <sojkam1@fel.cvut.cz>)\r
  37         id 1P60gx-0006R6-MB; Wed, 13 Oct 2010 14:44:23 +0200\r
  38 From: Michal Sojka <sojkam1@fel.cvut.cz>\r
  39 To: Carl Worth <cworth@cworth.org>, notmuch@notmuchmail.org\r
  40 Subject: Re: [PATCH v3 0/5] Git-based modularization of test suite\r
  41 In-Reply-To: <87tyliun06.fsf@steelpick.2x.cz>\r
  42 References: <1276152484-1164-1-git-send-email-sojkam1@fel.cvut.cz>\r
  43         <874odkm4ey.fsf@yoom.home.cworth.org>\r
  44         <87tyliun06.fsf@steelpick.2x.cz>\r
  45 User-Agent: Notmuch/0.3.1-83-g6fec75f (http://notmuchmail.org) Emacs/23.2.1\r
  46         (x86_64-pc-linux-gnu)\r
  47 Date: Wed, 13 Oct 2010 14:44:23 +0200\r
  48 Message-ID: <87pqve1cuw.fsf@steelpick.2x.cz>\r
  49 MIME-Version: 1.0\r
  50 Content-Type: text/plain; charset=us-ascii\r
  51 X-BeenThere: notmuch@notmuchmail.org\r
  52 X-Mailman-Version: 2.1.13\r
  53 Precedence: list\r
  54 List-Id: "Use and development of the notmuch mail system."\r
  55         <notmuch.notmuchmail.org>\r
  56 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  57         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  58 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  59 List-Post: <mailto:notmuch@notmuchmail.org>\r
  60 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  61 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  62         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  63 X-List-Received-Date: Wed, 13 Oct 2010 12:44:38 -0000\r
  64 \r
  65 On Wed, 22 Sep 2010, Michal Sojka wrote:\r
  66 > On Mon, 20 Sep 2010, Carl Worth wrote:\r
  67 > > I've now pushed this out, along with some changes of my own on top of\r
  68 > > it. My changes make things in the test suite look more like they did\r
  69 > > before the git-based modularization, (both output from the test suite\r
  70 > > and how the tests themselves are written). I couldn't stand the approach\r
  71 > > of doing long chains of shell commands within strings for the tests, and\r
  72 > > I also didn't like the numeric filenames.\r
  73 > > \r
  74 > > Take a look at what I've done, and let me know if I defeated any\r
  75 > > intended benefits of the git-based modularization of the test suite.\r
  76 > \r
  77 > I went through your changes and they seems reasonable to me. I'll try to\r
  78 > update my tests for maildir synchronization and let you know (or send a\r
  79 > patch) if I find some problems.\r
  80 \r
  81 Hi Carl,\r
  82 \r
  83 here is my experience with test_begin_subtest and test_expect_equal\r
  84 functions in test-lib.sh. I see there two significant differences from\r
  85 the git's test_expect_success and similar functions.\r
  86 \r
  87 First, when the test fails, you only see the differences in the real\r
  88 output and the expected output. If you use test_expect_success you also\r
  89 see the actual commands that were executed.\r
  90 \r
  91 Second, when some command between test_begin_subtest and\r
  92 test_expect_success fails (e.g. because of segfault) you may not detect\r
  93 it. You can add "set -e" the test-lib.sh (see the patch bellow), but in\r
  94 this case when a test fails you would see\r
  95 \r
  96   FATAL: Unexpected exit with code 1\r
  97 \r
  98 without any additional information.\r
  99 \r
 100 -Michal\r
 101 \r
 102 \r
 103 diff --git a/test/test-lib.sh b/test/test-lib.sh\r
 104 index 2036669..c98ea2f 100644\r
 105 --- a/test/test-lib.sh\r
 106 +++ b/test/test-lib.sh\r
 107 @@ -395,6 +395,7 @@ add_email_corpus ()\r
 108  test_begin_subtest ()\r
 109  {\r
 110      test_subtest_name="$1"\r
 111 +    set -e\r
 112  }\r
 113  \r
 114  # Pass test if two arguments match\r