fb/5a186e73635a7c24bb6a6f5a857d7350ffd0bf

   1 Return-Path: <tomi.ollila@iki.fi>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5  by arlo.cworth.org (Postfix) with ESMTP id 86BBF6DE0B7C\r
   6  for <notmuch@notmuchmail.org>; Thu, 24 Sep 2015 12:54:08 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at cworth.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 1.158\r
  10 X-Spam-Level: *\r
  11 X-Spam-Status: No, score=1.158 tagged_above=-999 required=5 tests=[AWL=-0.238,\r
  12   SPF_NEUTRAL=0.652, URIBL_SBL=0.644, URIBL_SBL_A=0.1] autolearn=disabled\r
  13 Received: from arlo.cworth.org ([127.0.0.1])\r
  14  by localhost (arlo.cworth.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15  with ESMTP id dj4nBKrkqUws for <notmuch@notmuchmail.org>;\r
  16  Thu, 24 Sep 2015 12:54:06 -0700 (PDT)\r
  17 Received: from guru.guru-group.fi (guru.guru-group.fi [46.183.73.34])\r
  18  by arlo.cworth.org (Postfix) with ESMTP id EFEC26DE0B64\r
  19  for <notmuch@notmuchmail.org>; Thu, 24 Sep 2015 12:54:05 -0700 (PDT)\r
  20 Received: from guru.guru-group.fi (localhost [IPv6:::1])\r
  21  by guru.guru-group.fi (Postfix) with ESMTP id E056910008D;\r
  22  Thu, 24 Sep 2015 22:54:08 +0300 (EEST)\r
  23 From: Tomi Ollila <tomi.ollila@iki.fi>\r
  24 To: David Bremner <david@tethera.net>, notmuch@notmuchmail.org\r
  25 Subject: Re: [PATCH] test suite: don't consider skipped individual tests as\r
  26  failing\r
  27 In-Reply-To: <1443093210-6511-1-git-send-email-david@tethera.net>\r
  28 References: <1443093210-6511-1-git-send-email-david@tethera.net>\r
  29 User-Agent: Notmuch/0.20.2+68~g0c35549 (http://notmuchmail.org) Emacs/24.3.1\r
  30  (x86_64-unknown-linux-gnu)\r
  31 X-Face: HhBM'cA~<r"^Xv\KRN0P{vn'Y"Kd;zg_y3S[4)KSN~s?O\"QPoL\r
  32  $[Xv_BD:i/F$WiEWax}R(MPS`^UaptOGD`*/=@\1lKoVa9tnrg0TW?"r7aRtgk[F\r
  33  !)g;OY^,BjTbr)Np:%c_o'jj,Z\r
  34 Date: Thu, 24 Sep 2015 22:54:08 +0300\r
  35 Message-ID: <m27fnf4mqn.fsf@guru.guru-group.fi>\r
  36 MIME-Version: 1.0\r
  37 Content-Type: text/plain\r
  38 X-BeenThere: notmuch@notmuchmail.org\r
  39 X-Mailman-Version: 2.1.18\r
  40 Precedence: list\r
  41 List-Id: "Use and development of the notmuch mail system."\r
  42  <notmuch.notmuchmail.org>\r
  43 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  44  <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  45 List-Archive: <http://notmuchmail.org/pipermail/notmuch/>\r
  46 List-Post: <mailto:notmuch@notmuchmail.org>\r
  47 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  48 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  49  <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  50 X-List-Received-Date: Thu, 24 Sep 2015 19:54:08 -0000\r
  51 \r
  52 On Thu, Sep 24 2015, David Bremner <david@tethera.net> wrote:\r
  53 \r
  54 > It isn't completely clear what we want to do here, but\r
  55 >\r
  56 > 1) We currently don't fail if we skip a whole test file (mainly because\r
  57 > we neglect to count those skipped tests properly). This change at least\r
  58 > makes the two kinds of skipping consistent.\r
  59 >\r
  60 > 2) Automated build environments may have good reasons for building with\r
  61 > a minimal set of prereqs, and we don't want to discourage running our\r
  62 > test suite by breaking builds.\r
  63 > ---\r
  64 >  test/aggregate-results.sh | 2 +-\r
  65 >  1 file changed, 1 insertion(+), 1 deletion(-)\r
  66 >\r
  67 > diff --git a/test/aggregate-results.sh b/test/aggregate-results.sh\r
  68 > index b016edb..b30da44 100755\r
  69 > --- a/test/aggregate-results.sh\r
  70 > +++ b/test/aggregate-results.sh\r
  71 > @@ -82,7 +82,7 @@ if [ "$skipped" != "0" ]; then\r
  72 >      echo "$skipped $tests skipped."\r
  73 >  fi\r
  74 >  \r
  75 \r
  76 Looks OK, but I think there should be (some good) comment here informing\r
  77 any potential viewer that we're not checking $skipped...\r
  78 \r
  79 > -if [ $success -gt 0 -a $fixed -eq 0 -a $failed -eq 0 -a $skipped -eq 0 ]\r
  80 > +if [ $success -gt 0 -a $fixed -eq 0 -a $failed -eq 0 ]\r
  81 >  then\r
  82 >      exit 0\r
  83 >  else\r
  84 > -- \r
  85 > 2.5.1\r
  86 \r
  87 Tomi\r