ce/6d49890ffb244a5a21f64fbdf6163b05e4c70a

   1 Return-Path: <dmitry.kurochkin@gmail.com>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 0DD74429E26\r
   6         for <notmuch@notmuchmail.org>; Tue, 13 Dec 2011 15:52:01 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.799\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.799 tagged_above=-999 required=5\r
  12         tests=[DKIM_SIGNED=0.1, DKIM_VALID=-0.1, DKIM_VALID_AU=-0.1,\r
  13         FREEMAIL_FROM=0.001, RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id bBX9UopunUbJ for <notmuch@notmuchmail.org>;\r
  17         Tue, 13 Dec 2011 15:51:59 -0800 (PST)\r
  18 Received: from mail-fx0-f53.google.com (mail-fx0-f53.google.com\r
  19         [209.85.161.53]) (using TLSv1 with cipher RC4-SHA (128/128 bits))\r
  20         (No client certificate requested)\r
  21         by olra.theworths.org (Postfix) with ESMTPS id 4973D429E25\r
  22         for <notmuch@notmuchmail.org>; Tue, 13 Dec 2011 15:51:59 -0800 (PST)\r
  23 Received: by faaa5 with SMTP id a5so831508faa.26\r
  24         for <notmuch@notmuchmail.org>; Tue, 13 Dec 2011 15:51:56 -0800 (PST)\r
  25 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=gamma;\r
  26         h=from:to:subject:in-reply-to:references:user-agent:date:message-id\r
  27         :mime-version:content-type;\r
  28         bh=M/vSVYXT0lL6HVxpiQZLY2Rad1bSu23NK1bZQ4mt0pg=;\r
  29         b=xEl6SlrEVxiQZXsf8/nOo4Gf3xI8eWwu2keLoFft/zuWkuHelSqAu7WombDQBS9Bfu\r
  30         9pDOzMY+RFRjY86QOZ/HHAxyk1w7iTUghzqFcRG64lSihVIMIQ8rJvEM1rdU9vhKSZYR\r
  31         weaoex0aocaReoCssvdDQQ50d47qqQEuz0+hM=\r
  32 Received: by 10.180.4.37 with SMTP id h5mr922126wih.45.1323820316532;\r
  33         Tue, 13 Dec 2011 15:51:56 -0800 (PST)\r
  34 Received: from localhost ([91.144.186.21])\r
  35         by mx.google.com with ESMTPS id dj9sm973169wib.6.2011.12.13.15.51.55\r
  36         (version=TLSv1/SSLv3 cipher=OTHER);\r
  37         Tue, 13 Dec 2011 15:51:56 -0800 (PST)\r
  38 From: Dmitry Kurochkin <dmitry.kurochkin@gmail.com>\r
  39 To: Jameson Graef Rollins <jrollins@finestructure.net>,\r
  40         David Bremner <david@tethera.net>, notmuch@notmuchmail.org\r
  41 Subject: Re: [PATCH] test: optionally print subtest number\r
  42 In-Reply-To: <87pqfs2gfa.fsf@servo.finestructure.net>\r
  43 References: <1323806207-31888-1-git-send-email-david@tethera.net>\r
  44         <87zkew2jtu.fsf@servo.finestructure.net>\r
  45         <87d3bsjc1z.fsf@zancas.localnet> <87hb14ukbc.fsf@gmail.com>\r
  46         <87pqfs2gfa.fsf@servo.finestructure.net>\r
  47 User-Agent: Notmuch/0.10.2+96~g74e5ae5 (http://notmuchmail.org) Emacs/23.3.1\r
  48         (x86_64-pc-linux-gnu)\r
  49 Date: Wed, 14 Dec 2011 03:51:19 +0400\r
  50 Message-ID: <87ehw8uj2g.fsf@gmail.com>\r
  51 MIME-Version: 1.0\r
  52 Content-Type: text/plain; charset=us-ascii\r
  53 X-BeenThere: notmuch@notmuchmail.org\r
  54 X-Mailman-Version: 2.1.13\r
  55 Precedence: list\r
  56 List-Id: "Use and development of the notmuch mail system."\r
  57         <notmuch.notmuchmail.org>\r
  58 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  59         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  60 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  61 List-Post: <mailto:notmuch@notmuchmail.org>\r
  62 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  63 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  64         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  65 X-List-Received-Date: Tue, 13 Dec 2011 23:52:01 -0000\r
  66 \r
  67 On Tue, 13 Dec 2011 15:35:53 -0800, Jameson Graef Rollins <jrollins@finestructure.net> wrote:\r
  68 > On Wed, 14 Dec 2011 03:24:23 +0400, Dmitry Kurochkin <dmitry.kurochkin@gmail.com> wrote:\r
  69 > > BTW I have some plans to introduce optional explicit test ids that can\r
  70 > > be used for inter-test dependencies.  E.g.:\r
  71 > > \r
  72 > >   test_begin_subtest test-id-1 "A subtest"\r
  73 > >   ....\r
  74 > >   ;; in another test requre that test-id-1 passed\r
  75 > >   test_require_subtest test-id-1\r
  76 > \r
  77 > Would the required test need to be listed twice, both on the\r
  78 > begin_subtest line *and* in the require_subtest line?\r
  79 > \r
  80 > And again, why would the test id have to be any different that the\r
  81 > existing test names?  The tests already have names, so I don't\r
  82 > understand why we would want to introduce some other kind of\r
  83 > identification.  Seems like it's just going to add extra confusion.\r
  84 > \r
  85 \r
  86 What you listed in the other email are test scripts, each with many\r
  87 subtests.  I was talking about dependencies between subtests, not test\r
  88 scripts.\r
  89 \r
  90 > And speaking of which, I sometimes worry that the test infrastructure\r
  91 > itself is getting too complicated.  Pretty soon we're going to need\r
  92 > tests for the tests.\r
  93 \r
  94 We already have them :)  Though, pretty limited.\r
  95 \r
  96 >  I don't necessarily see the need to all of these\r
  97 > extra features in the test suite, so I worry that it's just making\r
  98 > everything harder to debug.\r
  99 > \r
 100 \r
 101 I hope we can keep balance here.\r
 102 \r
 103 Without inter-subtest dependencies, we have unhealthy situation where\r
 104 some tests may be skipped because of missing prerequisites, but test\r
 105 that depend on them are failing.  The only alternative I see is to\r
 106 rewrite these tests to remove the dependencies.  But that would\r
 107 complicate test cases itself, so I believe inter-subtest dependencies is\r
 108 a better option.\r
 109 \r
 110 Regards,\r
 111   Dmitry\r
 112 \r
 113 > jamie.\r