40/0ed5d1d45990390806240aa4a74b8196a52a8a

   1 Return-Path: <m.walters@qmul.ac.uk>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 14A8B431E64\r
   6         for <notmuch@notmuchmail.org>; Tue, 10 Jul 2012 09:52:00 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -1.098\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-1.098 tagged_above=-999 required=5\r
  12         tests=[DKIM_ADSP_CUSTOM_MED=0.001, FREEMAIL_FROM=0.001,\r
  13         NML_ADSP_CUSTOM_MED=1.2, RCVD_IN_DNSWL_MED=-2.3] autolearn=disabled\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id eOHKvs+xtCL0 for <notmuch@notmuchmail.org>;\r
  17         Tue, 10 Jul 2012 09:51:59 -0700 (PDT)\r
  18 Received: from mail2.qmul.ac.uk (mail2.qmul.ac.uk [138.37.6.6])\r
  19         (using TLSv1 with cipher DHE-RSA-AES256-SHA (256/256 bits))\r
  20         (No client certificate requested)\r
  21         by olra.theworths.org (Postfix) with ESMTPS id 51F03431FBF\r
  22         for <notmuch@notmuchmail.org>; Tue, 10 Jul 2012 09:51:59 -0700 (PDT)\r
  23 Received: from smtp.qmul.ac.uk ([138.37.6.40])\r
  24         by mail2.qmul.ac.uk with esmtp (Exim 4.71)\r
  25         (envelope-from <m.walters@qmul.ac.uk>)\r
  26         id 1SodfD-0000gT-9s; Tue, 10 Jul 2012 17:51:53 +0100\r
  27 Received: from 94-192-233-223.zone6.bethere.co.uk ([94.192.233.223]\r
  28         helo=localhost)\r
  29         by smtp.qmul.ac.uk with esmtpsa (TLSv1:AES128-SHA:128) (Exim 4.69)\r
  30         (envelope-from <m.walters@qmul.ac.uk>)\r
  31         id 1SodfC-0004Ge-VE; Tue, 10 Jul 2012 17:51:51 +0100\r
  32 From: Mark Walters <markwalters1009@gmail.com>\r
  33 To: notmuch@notmuchmail.org\r
  34 Subject: Tests\r
  35 User-Agent: Notmuch/0.13.2+61~gf708609 (http://notmuchmail.org) Emacs/23.4.1\r
  36         (x86_64-pc-linux-gnu)\r
  37 Date: Tue, 10 Jul 2012 17:51:48 +0100\r
  38 Message-ID: <87ipdv8spn.fsf@qmul.ac.uk>\r
  39 MIME-Version: 1.0\r
  40 Content-Type: text/plain; charset=us-ascii\r
  41 X-Sender-Host-Address: 94.192.233.223\r
  42 X-QM-SPAM-Info: Sender has good ham record.  :)\r
  43 X-QM-Body-MD5: e3e0620cb7299d73782119c568913a7e (of first 20000 bytes)\r
  44 X-SpamAssassin-Score: -1.8\r
  45 X-SpamAssassin-SpamBar: -\r
  46 X-SpamAssassin-Report: The QM spam filters have analysed this message to\r
  47         determine if it is\r
  48         spam. We require at least 5.0 points to mark a message as spam.\r
  49         This message scored -1.8 points.\r
  50         Summary of the scoring: \r
  51         * -2.3 RCVD_IN_DNSWL_MED RBL: Sender listed at http://www.dnswl.org/,\r
  52         *      medium trust\r
  53         *      [138.37.6.40 listed in list.dnswl.org]\r
  54         * 0.0 FREEMAIL_FROM Sender email is commonly abused enduser mail\r
  55         provider *      (markwalters1009[at]gmail.com)\r
  56         * -0.0 T_RP_MATCHES_RCVD Envelope sender domain matches handover relay\r
  57         *      domain\r
  58         *  0.5 AWL AWL: From: address is in the auto white-list\r
  59 X-QM-Scan-Virus: ClamAV says the message is clean\r
  60 X-BeenThere: notmuch@notmuchmail.org\r
  61 X-Mailman-Version: 2.1.13\r
  62 Precedence: list\r
  63 List-Id: "Use and development of the notmuch mail system."\r
  64         <notmuch.notmuchmail.org>\r
  65 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  66         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  67 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  68 List-Post: <mailto:notmuch@notmuchmail.org>\r
  69 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  70 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  71         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  72 X-List-Received-Date: Tue, 10 Jul 2012 16:52:00 -0000\r
  73 \r
  74 \r
  75 I have been thinking a little bit about the current situation with\r
  76 regards to tests. There are quite a lot of tests in the review queue\r
  77 that have been there for quite some time without much interest, but I do\r
  78 think we are rather short of tests. (*)\r
  79 \r
  80 I wonder if we could have a sort of staging area for tests where they\r
  81 could roughly go in without review and would only be run by something\r
  82 like make stage-test or make all-tests or something.  The hope is that\r
  83 this would encourage more tests.\r
  84 \r
  85 The idea would be not that a patch author would have to make sure they\r
  86 all pass, but if they previously passed and no longer do then the author\r
  87 would know *something* about the output had changed.\r
  88 \r
  89 One example is the emacs elide test by Pieter\r
  90 id:"1329684990-12504-3-git-send-email-pieter@praet.org" which does still\r
  91 pass after my substantial change to the way elide is done (and is not\r
  92 currently covered in the test suite)\r
  93 \r
  94 Of course if someone does review one of these staging tests then they\r
  95 can be moved into the real tests.\r
  96 \r
  97 Best wishes\r
  98 \r
  99 Mark\r
 100 \r
 101 (*) for example the structured output patch accidentally changed the\r
 102 output of notmuch search --output=threads --format=json <search> but\r
 103 that was not caught by the tests.\r
 104 \r
 105 \r
 106 \r
 107 \r
 108 \r