Re: muchsync files renames
authorAmadeusz Żołnowski <aidecoe@aidecoe.name>
Mon, 31 Aug 2015 11:59:43 +0000 (12:59 +0100)
committerW. Trevor King <wking@tremily.us>
Sat, 20 Aug 2016 21:49:28 +0000 (14:49 -0700)
9d/0b97b0b5ca0f43b523662b800daa17741468b5 [new file with mode: 0644]

diff --git a/9d/0b97b0b5ca0f43b523662b800daa17741468b5 b/9d/0b97b0b5ca0f43b523662b800daa17741468b5
new file mode 100644 (file)
index 0000000..a84fac8
--- /dev/null
@@ -0,0 +1,167 @@
+Return-Path: <aidecoe@aidecoe.name>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+ by arlo.cworth.org (Postfix) with ESMTP id 41EC36DE0173\r
+ for <notmuch@notmuchmail.org>; Mon, 31 Aug 2015 05:00:09 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at cworth.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: -0.004\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=-0.004 tagged_above=-999 required=5 tests=[AWL=0.097,\r
+  DKIM_SIGNED=0.1, DKIM_VALID=-0.1, DKIM_VALID_AU=-0.1, SPF_PASS=-0.001]\r
+ autolearn=disabled\r
+Received: from arlo.cworth.org ([127.0.0.1])\r
+ by localhost (arlo.cworth.org [127.0.0.1]) (amavisd-new, port 10024)\r
+ with ESMTP id 3958G_EQJy6N for <notmuch@notmuchmail.org>;\r
+ Mon, 31 Aug 2015 05:00:03 -0700 (PDT)\r
+Received: from jim.zolnowski.name (jim.zolnowski.name [188.116.54.122])\r
+ by arlo.cworth.org (Postfix) with ESMTPS id DB2506DE00CB\r
+ for <notmuch@notmuchmail.org>; Mon, 31 Aug 2015 05:00:02 -0700 (PDT)\r
+DKIM-Signature: v=1; a=rsa-sha256; q=dns/txt; c=relaxed/relaxed;\r
+ d=aidecoe.name; s=jim;\r
+  h=Content-Type:MIME-Version:Message-ID:Date:References:In-Reply-To:Subject:Cc:To:From; bh=9Ge6koUgJvpMRIXm5sL2Rt4A44TAHkJmCGhcaWYBWzk=;\r
+  b=jZwuatiOIs8cjhDp8vpUg+XN1CxE6l+jymfyISXODSc6KGW4366s0mJcuLQrqROKzTozteGIE9g/1oKaonCBI0khy6RzQ4QAFR19dJ0kXkjXIUHZK3a08CumvZnJMaShvKRJbP8N1tjns7s8tiX+zocvzAn7LYQLKTgezWDL19BOqGicTEq7wrrGA3Y91hrsz5kBG14/7yyCNNS8Hjtf/oOPkj59TcAyS6DZiZNCD5/+zz9QmLUGFYp4V36x8bn30wMaPWp/q+nx6E2vBdNnMgzZXGA++m3TmSbjcFHKJrvfLofvokakkCxVCWyeN0165776LK11Yr44qu1TiCC5Xw==;\r
+Received: from cpc3-cmbg17-2-0-cust294.5-4.cable.virginm.net ([86.22.65.39]\r
+ helo=localhost)\r
+ by jim.zolnowski.name with esmtpsa (TLSv1.2:DHE-RSA-AES256-GCM-SHA384:256)\r
+ (Exim 4.85) (envelope-from <aidecoe@aidecoe.name>)\r
+ id 1ZWNki-0002yd-3C; Mon, 31 Aug 2015 13:59:58 +0200\r
+From: Amadeusz =?utf-8?B?xbtvxYJub3dza2k=?= <aidecoe@aidecoe.name>\r
+To: David Mazieres expires 2015-11-28 PST\r
+ <mazieres-evmnkzzavjvnrbsbughkgbywbs@temporary-address.scs.stanford.edu>\r
+Subject: Re: muchsync files renames\r
+In-Reply-To: <87io7wr50y.fsf@ta.scs.stanford.edu>\r
+References: <878u93ujdo.fsf@freja.aidecoe.name>\r
+ <876146o920.fsf@ta.scs.stanford.edu> <871teu8kdd.fsf@freja.aidecoe.name>\r
+ <87oahxojlv.fsf@ta.scs.stanford.edu> <87vbbwnbb4.fsf@freja.aidecoe.name>\r
+ <87io7wr50y.fsf@ta.scs.stanford.edu>\r
+User-Agent: Notmuch/0.20.2 (http://notmuchmail.org) Emacs/24.5.1\r
+ (x86_64-pc-linux-gnu)\r
+Date: Mon, 31 Aug 2015 12:59:43 +0100\r
+Message-ID: <87k2sbmzww.fsf@freja.aidecoe.name>\r
+MIME-Version: 1.0\r
+Content-Type: multipart/signed; boundary="=-=-=";\r
+ micalg=pgp-sha512; protocol="application/pgp-signature"\r
+Cc: notmuch@notmuchmail.org\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.18\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+ <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+ <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch/>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+ <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Mon, 31 Aug 2015 12:00:09 -0000\r
+\r
+--=-=-=\r
+Content-Type: text/plain; charset=utf-8\r
+Content-Transfer-Encoding: quoted-printable\r
+\r
+Hi David,\r
+\r
+First of all thank you a lot for support.  I am Cc'ing ml because the\r
+last paragraph may be useful hint for other users.\r
+\r
+\r
+David Mazieres writes:\r
+> So to be clear, you are getting tons of lines that start "[SERVER]\r
+> [notmuch]" and contain the string "Ignoring non-mail file"?  Is the\r
+> "##...##" literal, or is that an ellipsis?\r
+\r
+I have just cut off few directories on the path. :-) All of these files\r
+are invalid spam mail, indeed.  I have removed them.  One problem less.\r
+\r
+\r
+> Also, those file names were not generated were not generated by\r
+> muchsync.  Any mail file created by muchsync will have a file name of\r
+> the form:\r
+>\r
+>     nnn.MnnnPnnnQnRn.machine\r
+>     nnn.MnnnPnnnQnRn.machine:2,\r
+\r
+Just to makes things clear (once again? :-)), these file names are\r
+generated only on client side.  Muchsync is not gonna ever to sync file\r
+names to server, is it?\r
+\r
+\r
+> When you run "notmuch new" on the server, without muchsync, does it\r
+> take forever and print all these message while scanning non mail\r
+> files?\r
+\r
+No. Notmuch doesn't print these messages when I just run "notmuch new"\r
+myself.  Anyway there was only around 100 of invalid mail files.\r
+\r
+\r
+> Okay, this is the interesting part.  It appears that 5775 out of your\r
+> 115877 messages have been moved to a different directory on the\r
+> client.  I notice that the one message you include above has been\r
+> moved to the Spam maildir.\r
+\r
+> Is it possible that A) you have some spam filtering on the client that\r
+> is moving things to the Spam folder,\r
+\r
+I have a mailfilter rule which moves mails with "X-Spam-Status: Yes" to\r
+Spam directory, but this happens on delivery before notmuch indexing.\r
+\r
+\r
+> or B) that one of your two machines is using a case-independent file\r
+> system that is causing confusion between "Spam" and "spam"?\r
+\r
+I am testing it on single GNU/Linux host between different users.  It is\r
+ext4 fs.\r
+\r
+\r
+> So... based on all the evidence so fare the culprit seems to be that\r
+> something is moving mail files into your Spam folder on the client.\r
+> If that rings any bells and solves the problem, great.  If not, here\r
+> is what we need to do to track it down further.\r
+\r
+I have followed you hints to track down the issue.  All of these\r
+messages are spam. What I suspect follows.\r
+\r
+All of these files have been placed to new/ subdir by maildrop and\r
+during posthook (afew) have been stripped of any tags besides 'spam'\r
+tag, in particular 'unread' tag has been removed, but files still remain\r
+in new/ subdir.  So... what had to happen is that during muchsync these\r
+messages have been discovered as already read, so they don't belong to\r
+new/ but must be moved to cur/.  And this is what happened on client\r
+side.  During next muchsync these changes had to be pushed to server,\r
+i.e. move from new/ to cur/.\r
+\r
+So if my assumptions are correct, actually there is no issue!  I would\r
+just have to adjust afew filtering to prevent this behaviour.\r
+\r
+\r
+Thank you,\r
+\r
+=2D-=20\r
+Amadeusz =C5=BBo=C5=82nowski\r
+\r
+--=-=-=\r
+Content-Type: application/pgp-signature; name="signature.asc"\r
+\r
+-----BEGIN PGP SIGNATURE-----\r
+Version: GnuPG v2.1\r
+\r
+iQJ8BAEBCgBmBQJV5EGwXxSAAAAAAC4AKGlzc3Vlci1mcHJAbm90YXRpb25zLm9w\r
+ZW5wZ3AuZmlmdGhob3JzZW1hbi5uZXRCMzcyRTFENjI5NUM1MzYwQTQwODQyRUZD\r
+QkNDODAyM0Y1OUUxNzA0AAoJEMvMgCP1nhcEzOEP/1HNI56B+1hy5XTb/IhXDCUj\r
++k/AbdFDhBb+kHxNTly9F+qjBt8hSTZhUC3FojqVWBgVMGKarqyQ6+pV8YcbRWJK\r
+HCaiWzvi4miXMFYvDtjVKzkTsZS6vXfzmSX4WrrXkHzkF5a/M7bY736xvBVTXoO1\r
+jzbXkjsIJcyXSztpead8thrTCM4iWozxJ8+H/ZvJNtgV0ch68l3J8jXI7YL1OQyn\r
+esYhs9NyGVxAaQyrvERs7HClAtZg25iGi0hX5ZbH+y4Oy41XXQz2QlyX/us04AC/\r
+1SjzeNW5/rBPxPRtO4baHuiLvwQGa4pIHIKxssn6uvi8tW//vPo95zGa4nhLf5Q1\r
+D9Pe3e6dmOP9wlzaIAOSboSus/WlomcvfjWs8dGHeNtbk9ZxwN7j0U37J9j33vgS\r
+8hHCxUaaJEXckDPL78q6x3IPZMgpNdhH7+yZFUf34KwK5F44aIi0WEsuUCuh2LLW\r
+jkp/BdERhX6+wgsrFrsK1c2gXB/zLGcBjoSCKJfzvL/WvFn6vW6ehaFI1EAsdgJK\r
+jgemkP2ZuXjp5ocBlNKaVWQfVs+XPWfBWr22c+OG4BbRG8g43AG3xNt7i3oZlblZ\r
+sLAdlP0ABCU2qp/nSed3vdwPCLv4uZc03FU2VuX1BaEa7YcN4b2NMRbvsy7oi/k0\r
+ywAyTsVOxpO/9a85jVA4\r
+=EMSP\r
+-----END PGP SIGNATURE-----\r
+--=-=-=--\r