20/cd3cafb5694985b073f6b26d84ed76e1b6e832

   1 Return-Path: <cworth@cworth.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 806AD431FBD\r
   6         for <notmuch@notmuchmail.org>; Thu,  4 Feb 2010 12:50:26 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -1.866\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-1.866 tagged_above=-999 required=5\r
  12         tests=[ALL_TRUSTED=-1.8, AWL=-0.067, BAYES_50=0.001] autolearn=ham\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id 0u-JpexJpDRs for <notmuch@notmuchmail.org>;\r
  16         Thu,  4 Feb 2010 12:50:25 -0800 (PST)\r
  17 Received: from yoom.home.cworth.org (localhost [127.0.0.1])\r
  18         by olra.theworths.org (Postfix) with ESMTP id 90137431FAE\r
  19         for <notmuch@notmuchmail.org>; Thu,  4 Feb 2010 12:50:25 -0800 (PST)\r
  20 Received: by yoom.home.cworth.org (Postfix, from userid 1000)\r
  21         id 469575500D4; Fri,  5 Feb 2010 09:50:25 +1300 (NZDT)\r
  22 From: Carl Worth <cworth@cworth.org>\r
  23 To: notmuch@notmuchmail.org\r
  24 Date: Thu, 04 Feb 2010 12:50:18 -0800\r
  25 Message-ID: <87ljf8pvxx.fsf@yoom.home.cworth.org>\r
  26 MIME-Version: 1.0\r
  27 Content-Type: multipart/signed; boundary="=-=-=";\r
  28         micalg=pgp-sha1; protocol="application/pgp-signature"\r
  29 Subject: [notmuch] A functional (but rudimentary) test suite for notmuch\r
  30 X-BeenThere: notmuch@notmuchmail.org\r
  31 X-Mailman-Version: 2.1.13\r
  32 Precedence: list\r
  33 List-Id: "Use and development of the notmuch mail system."\r
  34         <notmuch.notmuchmail.org>\r
  35 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  36         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  37 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  38 List-Post: <mailto:notmuch@notmuchmail.org>\r
  39 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  40 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  41         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  42 X-List-Received-Date: Thu, 04 Feb 2010 20:50:26 -0000\r
  43 \r
  44 --=-=-=\r
  45 \r
  46 I've just pushed out some improvements to make the little notmuch-test\r
  47 script I had posted earlier into an actual test suite. I've included the\r
  48 output of a run of the test suite below so that you can get an idea of\r
  49 what it does so far.\r
  50 \r
  51 What I'd like to see going forward is that new features get submitted\r
  52 along with new test cases for the test suite. And it would be great if\r
  53 everyone submitting patches could get into the habit of running:\r
  54 \r
  55         ./test/notmuch-test\r
  56 \r
  57 before submitting.\r
  58 \r
  59 The test suite is still extremely rudimentary. Here are some things I'd\r
  60 like to improve about it:\r
  61 \r
  62   * Make the test suite more modular. Right now it's just one long shell\r
  63     script---so it's not even easy to see where one test ends and the\r
  64     next begins.\r
  65 \r
  66   * Allow for executing a subset of the test suite, (eg. notmuch-test reply)\r
  67 \r
  68     I just wrote a bunch of "notmuch reply" tests and it was annoying to\r
  69     have to wait for all of the "notmuch new" tests to run each time.\r
  70 \r
  71   * Actually document what it takes to write a test, (what the test can\r
  72     assume about the environment in which its running, what functions\r
  73     are available to call, etc.)\r
  74 \r
  75 I hope others find this useful.\r
  76 \r
  77 -Carl\r
  78 \r
  79 Testing "notmuch new" in several variations:\r
  80  No new messages...                     PASS\r
  81  Single new message...                  PASS\r
  82  Multiple new messages...               PASS\r
  83  No new messages (non-empty DB)...      PASS\r
  84  New directories...                     PASS\r
  85  Alternate inode order...               PASS\r
  86  Message moved in...                    PASS\r
  87  Renamed message...                     PASS\r
  88  Deleted message...                     PASS\r
  89  Renamed directory...                   PASS\r
  90  Deleted directory...                   PASS\r
  91  New directory (at end of list)...      PASS\r
  92  Deleted directory (end of list)...     PASS\r
  93  New symlink to directory...            PASS\r
  94  New symlink to a file...               PASS\r
  95  New two-level directory...             PASS\r
  96  Deleted two-level directory...         PASS\r
  97 \r
  98 Testing "notmuch reply" in several variations:\r
  99  Basic reply...                         PASS\r
 100  Multiple recipients...                 PASS\r
 101  Reply with CC...                       PASS\r
 102  Reply from alternate address...        PASS\r
 103  Support for Reply-To...                PASS\r
 104  Un-munging Reply-To...                 PASS\r
 105 Notmuch test suite complete.\r
 106 \r
 107 --=-=-=\r
 108 Content-Type: application/pgp-signature\r
 109 \r
 110 -----BEGIN PGP SIGNATURE-----\r
 111 Version: GnuPG v1.4.10 (GNU/Linux)\r
 112 \r
 113 iD8DBQFLazMK6JDdNq8qSWgRAnrbAJ0ejxcS6VMQe0nYZ5N0V3xBdfEl4gCeOfaD\r
 114 29pKupbyu860+cW9cSDFhD0=\r
 115 =NvZi\r
 116 -----END PGP SIGNATURE-----\r
 117 --=-=-=--\r