5c/3495f1431dfcc6c3d866c5bf850c52fb99be6c

   1 Return-Path: <cworth@cworth.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id A412D4196F2\r
   6         for <notmuch@notmuchmail.org>; Thu, 22 Apr 2010 14:14:39 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -2.89\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-2.89 tagged_above=-999 required=5\r
  12         tests=[ALL_TRUSTED=-1, BAYES_00=-1.9, T_MIME_NO_TEXT=0.01]\r
  13         autolearn=ham\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id 8tkK1Lxf0kp4; Thu, 22 Apr 2010 14:14:38 -0700 (PDT)\r
  17 Received: from yoom.home.cworth.org (localhost [127.0.0.1])\r
  18         by olra.theworths.org (Postfix) with ESMTP id 2837B431FC1;\r
  19         Thu, 22 Apr 2010 14:14:38 -0700 (PDT)\r
  20 Received: by yoom.home.cworth.org (Postfix, from userid 1000)\r
  21         id A9ECB568DE4; Thu, 22 Apr 2010 14:14:37 -0700 (PDT)\r
  22 From: Carl Worth <cworth@cworth.org>\r
  23 To: Michal Sojka <sojkam1@fel.cvut.cz>, Gregor Hoffleit <gregor@hoffleit.de>,\r
  24         notmuch <notmuch@notmuchmail.org>\r
  25 Subject: Improved diff-based failure reports from the test suite\r
  26 In-Reply-To: <87vdbrerqs.fsf@steelpick.2x.cz>\r
  27 References: <1267697893-sup-4538@sam.mediasupervision.de>\r
  28         <87r5mje55l.fsf@yoom.home.cworth.org>\r
  29         <1271176622-sup-4680@sam.mediasupervision.de>\r
  30         <87iq7tft7j.fsf@yoom.home.cworth.org>\r
  31         <87ochlt8r9.fsf@steelpick.2x.cz>\r
  32         <878w8ofpx9.fsf@yoom.home.cworth.org>\r
  33         <87vdbrerqs.fsf@steelpick.2x.cz>\r
  34 Date: Thu, 22 Apr 2010 14:14:31 -0700\r
  35 Message-ID: <87k4rzqjew.fsf@yoom.home.cworth.org>\r
  36 MIME-Version: 1.0\r
  37 Content-Type: multipart/signed; boundary="=-=-=";\r
  38         micalg=pgp-sha1; protocol="application/pgp-signature"\r
  39 X-BeenThere: notmuch@notmuchmail.org\r
  40 X-Mailman-Version: 2.1.13\r
  41 Precedence: list\r
  42 List-Id: "Use and development of the notmuch mail system."\r
  43         <notmuch.notmuchmail.org>\r
  44 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  45         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  46 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  47 List-Post: <mailto:notmuch@notmuchmail.org>\r
  48 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  49 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  50         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  51 X-List-Received-Date: Thu, 22 Apr 2010 21:14:39 -0000\r
  52 \r
  53 --=-=-=\r
  54 Content-Transfer-Encoding: quoted-printable\r
  55 \r
  56 On Fri, 16 Apr 2010 10:17:15 +0200, Michal Sojka <sojkam1@fel.cvut.cz> wrot=\r
  57 e:\r
  58 > It's definitely better than before. The current implementation of\r
  59 > pass_if_equal has IMHO one drawback - if it compares multiline text and\r
  60 > there is a difference, it is quite hard to see where.\r
  61 >=20\r
  62 > In my tests for maildir synchronization I use this approach:\r
  63 >=20\r
  64 >   notmuch search tag:inbox | filter_output > actual &&\r
  65 >   diff -u - actual <<EOF\r
  66 >   thread:XXX   2000-01-01 [1/1] Notmuch Test Suite; test message 3 (inbox)\r
  67 >   EOF\r
  68 >=20\r
  69 > Thanks to the usee of diff, I immediately see only the differences.\r
  70 \r
  71 I just added a very long multi-line test to the test suite.\r
  72 \r
  73 So I took the opportunity to fix it to output the failures with diff. It\r
  74 also saves both the complete expected and actual output (for any failed\r
  75 tests) to files of the form test-XXX.expected and test-XXX.output.\r
  76 \r
  77 Enjoy!\r
  78 \r
  79 =2DCarl\r
  80 \r
  81 --=-=-=\r
  82 Content-Type: application/pgp-signature\r
  83 \r
  84 -----BEGIN PGP SIGNATURE-----\r
  85 Version: GnuPG v1.4.10 (GNU/Linux)\r
  86 \r
  87 iD8DBQFL0Lw36JDdNq8qSWgRAmxyAJ9mJSYoUghzbQat3X2gLqv2oEdSPQCdGwMy\r
  88 RYjDTxkknMu+MUcl73/EiNc=\r
  89 =7zPR\r
  90 -----END PGP SIGNATURE-----\r
  91 --=-=-=--\r