Re: [PATCH 0/9] test: (hopefully) better test prerequisites
authorThomas Jost <schnouki@schnouki.net>
Thu, 17 Nov 2011 09:46:58 +0000 (10:46 +0100)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 17:40:16 +0000 (09:40 -0800)
90/8838b7db00cd579681e07d57efbd7b722a4ef9 [new file with mode: 0644]

diff --git a/90/8838b7db00cd579681e07d57efbd7b722a4ef9 b/90/8838b7db00cd579681e07d57efbd7b722a4ef9
new file mode 100644 (file)
index 0000000..b0af855
--- /dev/null
@@ -0,0 +1,131 @@
+Return-Path: <schnouki@schnouki.net>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id CC1E2429E21\r
+       for <notmuch@notmuchmail.org>; Thu, 17 Nov 2011 01:47:02 -0800 (PST)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: -0.1\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=-0.1 tagged_above=-999 required=5\r
+       tests=[DKIM_SIGNED=0.1, DKIM_VALID=-0.1, DKIM_VALID_AU=-0.1]\r
+       autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id 2UqiOw8qxeRj for <notmuch@notmuchmail.org>;\r
+       Thu, 17 Nov 2011 01:47:02 -0800 (PST)\r
+Received: from ks3536.kimsufi.com (schnouki.net [87.98.217.222])\r
+       by olra.theworths.org (Postfix) with ESMTP id 2DBDF431FD0\r
+       for <notmuch@notmuchmail.org>; Thu, 17 Nov 2011 01:47:02 -0800 (PST)\r
+Received: from thor.loria.fr (thor.loria.fr [152.81.12.250])\r
+       by ks3536.kimsufi.com (Postfix) with ESMTPSA id 095A26A0026;\r
+       Thu, 17 Nov 2011 10:47:01 +0100 (CET)\r
+DKIM-Signature: v=1; a=rsa-sha256; c=simple/simple; d=schnouki.net;\r
+       s=key-schnouki; t=1321523221;\r
+       bh=PDFUe1hLjaqsY3n4YpaR0pW2NfiMA+faymbBEjVniTM=;\r
+       h=From:To:Subject:In-Reply-To:References:Date:Message-ID:\r
+       MIME-Version:Content-Type;\r
+       b=XI5S4LVMniYtK2FHZ1aYFWlmXg1Z5XWNwcARX1F7XYSqXdBybA7Z09vo8C/NpMVnB\r
+       SkWvZgAT5m3VV1Dz/1U9UUAfnVhIP7p9ZYGlX5ax5IYick1OWDPtU19x/mhqAwBpQW\r
+       NTJ8rFRcoVhpm2paz5x+qSvh7FaA1EozkNXIW0jY=\r
+From: Thomas Jost <schnouki@schnouki.net>\r
+To: Dmitry Kurochkin <dmitry.kurochkin@gmail.com>, notmuch@notmuchmail.org\r
+Subject: Re: [PATCH 0/9] test: (hopefully) better test prerequisites\r
+In-Reply-To: <1321494986-18998-1-git-send-email-dmitry.kurochkin@gmail.com>\r
+References: <1321494986-18998-1-git-send-email-dmitry.kurochkin@gmail.com>\r
+User-Agent: Notmuch/0.10_rc1+21~gaf76c55 (http://notmuchmail.org)\r
+       Emacs/24.0.90.1 (x86_64-unknown-linux-gnu)\r
+Date: Thu, 17 Nov 2011 10:46:58 +0100\r
+Message-ID: <87d3craxnx.fsf@thor.loria.fr>\r
+MIME-Version: 1.0\r
+Content-Type: multipart/signed; boundary="=-=-=";\r
+       micalg=pgp-sha1; protocol="application/pgp-signature"\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Thu, 17 Nov 2011 09:47:02 -0000\r
+\r
+--=-=-=\r
+Content-Type: text/plain\r
+Content-Transfer-Encoding: quoted-printable\r
+\r
+On Thu, 17 Nov 2011 05:56:17 +0400, Dmitry Kurochkin <dmitry.kurochkin@gmai=\r
+l.com> wrote:\r
+> Hi all.\r
+>=20\r
+> The following patch series is an attempt to introduce proper\r
+> dependencies for external binaries in a less intrusive way than\r
+> [1].  The primary aim was to avoid changing every subtest that\r
+> uses external binaries.\r
+>=20\r
+> There are still failing tests if a dependency is\r
+> missing (e.g. "Verify that sent messages are\r
+> saved/searchable (via FCC)" fails if there is no emacs).  It\r
+> happens because such tests depend on others which are skipped.\r
+> This issues are not addressed by this patch series.\r
+>=20\r
+> If others do like the approach and it is pushed, I will work on\r
+> updating tests that use the old style prerequisites (atomicity).\r
+>=20\r
+> A careful review is needed!\r
+>=20\r
+> Regards,\r
+>   Dmitry\r
+>=20\r
+> [1] id:"1321454035-22023-1-git-send-email-schnouki@schnouki.net"\r
+\r
+Hi Dmitry,\r
+\r
+This series looks quite good to me. It's a good approach, cleaner than\r
+explicitely adding the prereqs to each test as in my previous patches\r
+(and Pieter's).\r
+\r
+Now, a few questions:\r
+\r
+=2D same as Jamie: emacs_deliver_message hangs if dtach is not installed.\r
+  In my patches I had to do this: "test_have_prereq EMACS &&\r
+  emacs_deliver_message ...". Any idea how to handle this?\r
+\r
+=2D what about indirect, "hidden" dependencies? The crypto test need to\r
+  have a signed message delivered by emacs, so actually *all* the crypto\r
+  tests depend on emacs. Right now, when dtach is not installed, the\r
+  first test ("emacs delivery of signed message") is skipped and all the\r
+  others fail. Would it be possible to handle this case without having\r
+  to add explicit prereqs?\r
+\r
+=2D right now functions like test_expect_success can be used as\r
+  "test_expect_success COMMAND" or "test_expect_success PREREQ COMMAND".\r
+  If we use your approach (and I hope we will!), do we need to keep that\r
+  second syntax available in test-lib.sh too, or should we do some\r
+  cleanup to get rid of it?\r
+\r
+Thanks,\r
+\r
+=2D-=20\r
+Thomas/Schnouki\r
+\r
+--=-=-=\r
+Content-Type: application/pgp-signature\r
+\r
+-----BEGIN PGP SIGNATURE-----\r
+Version: GnuPG v1.4.11 (GNU/Linux)\r
+\r
+iQEcBAEBAgAGBQJOxNgSAAoJEMPdciX+bh5I0i0IAKOUvatel+QffjVM8ic22wZk\r
+Pkp8Vkq9mGIvEqreJgzmG5FdYC5d3TnC2/31f2xcRxDycdXw3QlHjCT6nu+S40fs\r
+f2n3Bp7AQtvW3ofXLGdMNxxoDMtLtYURCT6y3a8peAMudZ4us2hyHwnoJkG7+VUh\r
+lXWyemG010edMDCRscTl4jyh+w0g7rSDdAKbXDewMCYwujhE9O6yPqvqda2BYBgM\r
+faJ5B2upW5cOmcmtkdQwAhgvyTsV3xs4k4ldIl7wjOO7uX7wa3W8bbzeMHbde6+j\r
+GuF8N33pv1NeOmSfcblicJ0aG3PxohgBWSOoxywtyV/kI5gNrP1JQAzZ3O57oMA=\r
+=sKM1\r
+-----END PGP SIGNATURE-----\r
+--=-=-=--\r