e3/16cbb0108e75d7211232037720e37a72adb38b

   1 Return-Path: <dmitry.kurochkin@gmail.com>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id D61E7431FAF\r
   6         for <notmuch@notmuchmail.org>; Wed,  1 Feb 2012 16:08:17 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 1.7\r
  10 X-Spam-Level: *\r
  11 X-Spam-Status: No, score=1.7 tagged_above=-999 required=5\r
  12         tests=[DKIM_SIGNED=0.1, DKIM_VALID=-0.1, DKIM_VALID_AU=-0.1,\r
  13         FREEMAIL_FROM=0.001, FREEMAIL_REPLY=2.499, RCVD_IN_DNSWL_LOW=-0.7]\r
  14         autolearn=disabled\r
  15 Received: from olra.theworths.org ([127.0.0.1])\r
  16         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  17         with ESMTP id OhNMhGAMg7Ip for <notmuch@notmuchmail.org>;\r
  18         Wed,  1 Feb 2012 16:08:17 -0800 (PST)\r
  19 Received: from mail-bk0-f53.google.com (mail-bk0-f53.google.com\r
  20         [209.85.214.53]) (using TLSv1 with cipher RC4-SHA (128/128 bits))\r
  21         (No client certificate requested)\r
  22         by olra.theworths.org (Postfix) with ESMTPS id B5732431FAE\r
  23         for <notmuch@notmuchmail.org>; Wed,  1 Feb 2012 16:08:16 -0800 (PST)\r
  24 Received: by bke11 with SMTP id 11so1739408bke.26\r
  25         for <notmuch@notmuchmail.org>; Wed, 01 Feb 2012 16:08:15 -0800 (PST)\r
  26 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=gamma;\r
  27         h=from:to:subject:in-reply-to:references:user-agent:date:message-id\r
  28         :mime-version:content-type;\r
  29         bh=uMCnPsmkImyhcjRnIl8tGx7+O4FQJUrQ9pC1f3WIcqs=;\r
  30         b=Qnf9/yKafIkuaoqaHxOzTgsLUCLGQCVFKEiKTGJwRZRyomIxSOfiR2VqiCAl5r29gE\r
  31         9SdDUjYoLw/SYLmZF5rDD7ZMBSGnb7vMLlKCf4OC8VI6+VJ8GM2Zgf1DcZWvTOtjs180\r
  32         tkEKToAUnpEnJFsMcF/yBYHzg8Ti9xP2VmW9A=\r
  33 Received: by 10.204.152.208 with SMTP id h16mr348389bkw.6.1328141295506;\r
  34         Wed, 01 Feb 2012 16:08:15 -0800 (PST)\r
  35 Received: from localhost ([91.144.186.21])\r
  36         by mx.google.com with ESMTPS id ew13sm1635099bkb.1.2012.02.01.16.08.14\r
  37         (version=TLSv1/SSLv3 cipher=OTHER);\r
  38         Wed, 01 Feb 2012 16:08:14 -0800 (PST)\r
  39 From: Dmitry Kurochkin <dmitry.kurochkin@gmail.com>\r
  40 To: Jameson Graef Rollins <jrollins@finestructure.net>,\r
  41         Tomi Ollila <tomi.ollila@iki.fi>, notmuch@notmuchmail.org\r
  42 Subject: Re: [PATCH] test: make test_expect_equal_file() arguments flexible\r
  43 In-Reply-To: <8739aum87u.fsf@gmail.com>\r
  44 References: <1328080794-24670-1-git-send-email-dmitry.kurochkin@gmail.com>\r
  45         <87r4yfszx9.fsf@servo.finestructure.net>\r
  46         <87pqdync64.fsf@gmail.com> <m262fqc0wv.fsf@guru.guru-group.fi>\r
  47         <87k446n8ji.fsf@gmail.com> <87ehuetqjz.fsf@servo.finestructure.net>\r
  48         <8739aum87u.fsf@gmail.com>\r
  49 User-Agent: Notmuch/0.11+139~gd9b7cab (http://notmuchmail.org) Emacs/23.3.1\r
  50         (x86_64-pc-linux-gnu)\r
  51 Date: Thu, 02 Feb 2012 04:07:01 +0400\r
  52 Message-ID: <87wr86ksii.fsf@gmail.com>\r
  53 MIME-Version: 1.0\r
  54 Content-Type: text/plain; charset=us-ascii\r
  55 X-BeenThere: notmuch@notmuchmail.org\r
  56 X-Mailman-Version: 2.1.13\r
  57 Precedence: list\r
  58 List-Id: "Use and development of the notmuch mail system."\r
  59         <notmuch.notmuchmail.org>\r
  60 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  61         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  62 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  63 List-Post: <mailto:notmuch@notmuchmail.org>\r
  64 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  65 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  66         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  67 X-List-Received-Date: Thu, 02 Feb 2012 00:08:18 -0000\r
  68 \r
  69 On Thu, 02 Feb 2012 03:42:29 +0400, Dmitry Kurochkin <dmitry.kurochkin@gmail.com> wrote:\r
  70 > Hi Jameson.\r
  71 > \r
  72 > On Wed, 01 Feb 2012 09:24:32 -0800, Jameson Graef Rollins <jrollins@finestructure.net> wrote:\r
  73 > > On Wed, 01 Feb 2012 14:37:53 +0400, Dmitry Kurochkin <dmitry.kurochkin@gmail.com> wrote:\r
  74 > > > On Wed, 01 Feb 2012 12:18:08 +0200, Tomi Ollila <tomi.ollila@iki.fi> wrote:\r
  75 > > > > \r
  76 > > > > There are at least these options here\r
  77 > > > > \r
  78 > > > > 1) go through all ~100 places where test_expect_equal_file is used\r
  79 > > > >    and fix the call order: quick look tells that the offending uses\r
  80 > > > >    are in dump-restore, hooks, search-limiting and symbol-hiding.\r
  81 > > > > \r
  82 > > > > 2) enforce "expected" filename has some format *and* fix all current\r
  83 > > > >    uses of it. Add testbed_error () function which yells loudly ane exits...\r
  84 > > > > \r
  85 > > > > 3) guess which is output and which is expected from args so that \r
  86 > > > >    machine helps tester here (for both diff output & copied files)a\r
  87 > > > > \r
  88 > > > > 4) just copy compared files to some directory, those are named as\r
  89 > > > >    basename of the original -- diff order still inconsistent.\r
  90 > > > > \r
  91 > > > > \r
  92 > > > > I'd just go with option 1 and fix new *violations* when stumble upon one.\r
  93 > > > > \r
  94 > > > \r
  95 > > > Option 1 does not solve the problem.  New violations would apper and\r
  96 > > > need to be fixed again.  I am for option 2.\r
  97 > > \r
  98 > > How is enforcing use of a particular filename better and more robust\r
  99 > > than enforcing argument order?\r
 100 > \r
 101 > Filename check is a way to make sure the argument order is correct.\r
 102 > \r
 103 > >  You'll still have to force an arbitrary\r
 104 > > heuristic.  And you'll still be vulnerable to people messing up the file\r
 105 > > names (which actually seems easier to get wrong than messing up the\r
 106 > > order).\r
 107 > \r
 108 > Do you mean that people would start writing tests with filenames like:\r
 109 > \r
 110 >   test_expect_equal_file EXPECTED1 EXPECTED2\r
 111 > \r
 112 > ?  That is possible, of course.  But do you seriously believe that\r
 113 > deliberately changing file names in a way that violates common sense and\r
 114 > is inconsistent with all other code is "easier" than writing "EXPECTED\r
 115 > OUTPUT" in the wrong order?  I do not think so.  And it would definately\r
 116 > be easier to catch during review.\r
 117 > \r
 118 > >  And you'll have to have more code to parse the argument\r
 119 > > strings.\r
 120 > \r
 121 > That is one case statement, with one non-empty case, with one error\r
 122 > call.\r
 123 > \r
 124 > >  And you'll still get inconsistent diffs.\r
 125 > > \r
 126 > \r
 127 > No, you do not.  That is the point.\r
 128 > \r
 129 > > If this is really a problem, I vote for 1.  In general, I am not in\r
 130 > > favor of making the test suite more complicated than it needs to be.\r
 131 > > \r
 132 > \r
 133 > Ok.  I plan to send a patch soon.  If my arguments do not convince\r
 134 > enough people, I will move along.\r
 135 > \r
 136 \r
 137 The new patches, based on idea suggested by Tomi [1], are here:\r
 138 \r
 139   id:"1328141050-30356-1-git-send-email-dmitry.kurochkin@gmail.com"\r
 140 \r
 141 Regards,\r
 142   Dmitry\r
 143 \r
 144 [1] id:"m28vknaq5l.fsf@guru.guru-group.fi"\r
 145 \r
 146 > Regards,\r
 147 >   Dmitry\r
 148 > \r
 149 > > jamie.\r