Re: [RFC PATCH] Re: excessive thread fusing
authorMark Walters <markwalters1009@gmail.com>
Mon, 21 Apr 2014 07:20:13 +0000 (08:20 +0100)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 18:01:48 +0000 (10:01 -0800)
d2/0d982a986fd24aa681957699d55516e08d7d8c [new file with mode: 0644]

diff --git a/d2/0d982a986fd24aa681957699d55516e08d7d8c b/d2/0d982a986fd24aa681957699d55516e08d7d8c
new file mode 100644 (file)
index 0000000..7144354
--- /dev/null
@@ -0,0 +1,122 @@
+Return-Path: <m.walters@qmul.ac.uk>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id D4B69431FBD\r
+       for <notmuch@notmuchmail.org>; Mon, 21 Apr 2014 00:20:38 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: 1.748\r
+X-Spam-Level: *\r
+X-Spam-Status: No, score=1.748 tagged_above=-999 required=5\r
+       tests=[DKIM_ADSP_CUSTOM_MED=0.001, FREEMAIL_FROM=0.001,\r
+       NML_ADSP_CUSTOM_MED=1.2, RCVD_IN_BL_SPAMCOP_NET=1.246,\r
+       RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id kBSCB2RdeJsn for <notmuch@notmuchmail.org>;\r
+       Mon, 21 Apr 2014 00:20:33 -0700 (PDT)\r
+Received: from mail1.qmul.ac.uk (mail1.qmul.ac.uk [138.37.6.7])\r
+       (using TLSv1 with cipher DHE-RSA-AES256-SHA (256/256 bits))\r
+       (No client certificate requested)\r
+       by olra.theworths.org (Postfix) with ESMTPS id D60BB431FBC\r
+       for <notmuch@notmuchmail.org>; Mon, 21 Apr 2014 00:20:32 -0700 (PDT)\r
+Received: from smtp.qmul.ac.uk ([138.37.6.40])\r
+       by mail1.qmul.ac.uk with esmtp (Exim 4.71)\r
+       (envelope-from <m.walters@qmul.ac.uk>)\r
+       id 1Wc8We-0002vD-Ik; Mon, 21 Apr 2014 08:20:24 +0100\r
+Received: from 92.41.113.2.threembb.co.uk ([92.41.113.2] helo=localhost)\r
+       by smtp.qmul.ac.uk with esmtpsa (TLSv1:AES128-SHA:128) (Exim 4.71)\r
+       (envelope-from <m.walters@qmul.ac.uk>)\r
+       id 1Wc8Wc-00084t-Rc; Mon, 21 Apr 2014 08:20:24 +0100\r
+From: Mark Walters <markwalters1009@gmail.com>\r
+To: Carl Worth <cworth@cworth.org>, David Bremner <david@tethera.net>,\r
+       notmuch <notmuch@notmuchmail.org>\r
+Subject: Re: [RFC PATCH] Re: excessive thread fusing\r
+In-Reply-To: <877g6kmcmh.fsf@qmul.ac.uk>\r
+References: <87ioq5mrbz.fsf@maritornes.cs.unb.ca> <87fvl8mpzj.fsf@qmul.ac.uk>\r
+       <87oazwjq1e.fsf@yoom.home.cworth.org> <877g6kmcmh.fsf@qmul.ac.uk>\r
+User-Agent: Notmuch/0.15.2+615~g78e3a93 (http://notmuchmail.org) Emacs/23.4.1\r
+       (x86_64-pc-linux-gnu)\r
+Date: Mon, 21 Apr 2014 08:20:13 +0100\r
+Message-ID: <8738h7kv2q.fsf@qmul.ac.uk>\r
+MIME-Version: 1.0\r
+Content-Type: text/plain; charset=us-ascii\r
+X-Sender-Host-Address: 92.41.113.2\r
+X-QM-Geographic: According to ripencc,\r
+       this message was delivered by a machine in Britain (UK) (GB).\r
+X-QM-SPAM-Info: Sender has good ham record.  :)\r
+X-QM-Body-MD5: 8a16c4ce3446ced77f5af078ac173251 (of first 20000 bytes)\r
+X-SpamAssassin-Score: 0.0\r
+X-SpamAssassin-SpamBar: /\r
+X-SpamAssassin-Report: The QM spam filters have analysed this message to\r
+       determine if it is\r
+       spam. We require at least 5.0 points to mark a message as spam.\r
+       This message scored 0.0 points. Summary of the scoring: \r
+       * 0.0 FREEMAIL_FROM Sender email is commonly abused enduser mail\r
+       provider *      (markwalters1009[at]gmail.com)\r
+X-QM-Scan-Virus: ClamAV says the message is clean\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Mon, 21 Apr 2014 07:20:39 -0000\r
+\r
+\r
+>> I haven't tracked through all the logic of the existing algorithm for\r
+>> this case. But I don't like hearing that notmuch constructs different\r
+>> threads for the same messages presented in different orders. This sounds\r
+>> like a bug separate from what we've discussed above. \r
+\r
+I think I have now found this bug and it is separate from the malformed\r
+In-Reply-To problems.\r
+\r
+The problem is that when we merge threads we update all the thread-ids\r
+of documents in the loser thread. But we don't (if I understand the code\r
+correctly) update dangling "metadata" references to threads which don't\r
+(yet) have any documents.\r
+\r
+To make this explicit consider the 2 messages 17,18 in the set. \r
+\r
+Message 17 has id <87wrkidfrh.fsf@pinto.chemeng.ucl.ac.uk> and has no\r
+references/in-reply-to so has no parents.\r
+\r
+Message 18 has a reference to <87wrkidfrh.fsf@pinto.chemeng.ucl.ac.uk>\r
+and an in-reply-to to <e.fraga@ucl.ac.uk> and\r
+<87wrkidfrh.fsf@pinto.chemeng.ucl.ac.uk>\r
+\r
+If you add 17 first then it gets thread-id 1 and then when you add 18 message 18 gets\r
+thread-id 2 as does the dangling link to the "unseen" message\r
+e.fraga@ucl.ac.uk, and then message 17 is moved to thread-id 2.\r
+\r
+However, if you add 18 first then it gets thread-id 1 and the dangling\r
+link gets id 1. When 17 is added it gets thread-id 2, message 18 gets\r
+thread-id updated to 2 *but* the dangling link to e.fraga@ucl.ac.uk does\r
+not get updated so stays thread-id 1.\r
+\r
+In particular when 52 comes along with its link to e.fraga@ucl.ac.uk\r
+then:\r
+\r
+        In the first case it gets put in thread-id 3 and the other two\r
+        messages get moved into thread 3.\r
+\r
+        In the second case, message 52 gets put in thread 3 and thread 1\r
+        (the dangling link) gets moved into thread 3 leaving thread 2\r
+        (containing messages 17 and 18) untouched.\r
+\r
+Best wishes\r
+\r
+Mark\r
+\r
+\r
+\r
+\r
+\r