24/faa14dcc27e2f99383e505cd92d91b01bcb3ff

   1 Return-Path: <amdragon@mit.edu>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id E8D37431FC4\r
   6         for <notmuch@notmuchmail.org>; Mon, 22 Sep 2014 08:40:40 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -2.3\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-2.3 tagged_above=-999 required=5\r
  12         tests=[RCVD_IN_DNSWL_MED=-2.3] autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id AcXiMF6aUGtd for <notmuch@notmuchmail.org>;\r
  16         Mon, 22 Sep 2014 08:40:34 -0700 (PDT)\r
  17 Received: from dmz-mailsec-scanner-4.mit.edu (dmz-mailsec-scanner-4.mit.edu\r
  18         [18.9.25.15])\r
  19         (using TLSv1 with cipher DHE-RSA-AES256-SHA (256/256 bits))\r
  20         (No client certificate requested)\r
  21         by olra.theworths.org (Postfix) with ESMTPS id D7C12431FB6\r
  22         for <notmuch@notmuchmail.org>; Mon, 22 Sep 2014 08:40:33 -0700 (PDT)\r
  23 X-AuditID: 1209190f-f79aa6d000005b45-cc-542042f1fcc5\r
  24 Received: from mailhub-auth-2.mit.edu ( [18.7.62.36])\r
  25         (using TLS with cipher AES256-SHA (256/256 bits))\r
  26         (Client did not present a certificate)\r
  27         by dmz-mailsec-scanner-4.mit.edu (Symantec Messaging Gateway) with SMTP\r
  28         id 42.96.23365.1F240245; Mon, 22 Sep 2014 11:40:33 -0400 (EDT)\r
  29 Received: from outgoing.mit.edu (outgoing-auth-1.mit.edu [18.9.28.11])\r
  30         by mailhub-auth-2.mit.edu (8.13.8/8.9.2) with ESMTP id s8MFeWQn028356; \r
  31         Mon, 22 Sep 2014 11:40:32 -0400\r
  32 Received: from drake.dyndns.org\r
  33         (HSI-KBW-109-192-025-091.hsi6.kabel-badenwuerttemberg.de\r
  34         [109.192.25.91]) (authenticated bits=0)\r
  35         (User authenticated as amdragon@ATHENA.MIT.EDU)\r
  36         by outgoing.mit.edu (8.13.8/8.12.4) with ESMTP id s8MFeDNc030355\r
  37         (version=TLSv1/SSLv3 cipher=AES128-SHA bits=128 verify=NOT);\r
  38         Mon, 22 Sep 2014 11:40:29 -0400\r
  39 Received: from amthrax by drake.dyndns.org with local (Exim 4.84)\r
  40         (envelope-from <amdragon@mit.edu>)\r
  41         id 1XW5ik-0005OB-KO; Mon, 22 Sep 2014 11:40:10 -0400\r
  42 From: Austin Clements <aclements@csail.mit.edu>\r
  43 To: Gaute Hope <eg@gaute.vetsj.com>, notmuch@notmuchmail.org\r
  44 Subject: Re: [PATCH] Add configurable changed tag to messages that have\r
  45         been    changed on disk\r
  46 In-Reply-To: <1411386960-astroid-2-k1e726ut3f-2518@strange>\r
  47 References: <1396800683-9164-1-git-send-email-eg@gaute.vetsj.com>\r
  48         <87fviiiuzn.fsf@maritornes.cs.unb.ca>\r
  49         <CABKe4Mv6p77i5dBT9BV41hxmtrE4UPLR3NjZfpLuZDoE1KWYyA@mail.gmail.com>\r
  50         <20140801185505.GS13893@mit.edu>\r
  51         <1407313144-astroid-0-vyhth1tcrd-3835@strange>\r
  52         <1411386960-astroid-2-k1e726ut3f-2518@strange>\r
  53 User-Agent: Notmuch/0.18.1+86~gef5e66a (http://notmuchmail.org) Emacs/24.3.1\r
  54         (x86_64-pc-linux-gnu)\r
  55 Date: Mon, 22 Sep 2014 11:40:09 -0400\r
  56 Message-ID: <87k34vackm.fsf@drake.dyndns.org>\r
  57 MIME-Version: 1.0\r
  58 Content-Type: text/plain\r
  59 X-Brightmail-Tracker:\r
  60  H4sIAAAAAAAAA+NgFnrPIsWRmVeSWpSXmKPExsUixG6novvRSSHEYOFCLoumz5dYLa7fnMns\r
  61         wOTx418zm8ezVbeYA5iiuGxSUnMyy1KL9O0SuDI+f+xmKtgvW/G9t5exgfGfeBcjJ4eEgInE\r
  62         ih3HmSBsMYkL99azdTFycQgJzGaS+PjtPCOEs5FR4uDpDVCZ+0wSk7ouskM4cxklJqycxw7S\r
  63         zyagL7Fi7SRWEFtEwEbi1Pr9YLawQIzEvQOvGEFsTgFriXs3HjJDNK9mkjj6eDNYQlQgSWLx\r
  64         ojnMIDaLgKrEhxPLweK8AroSXdcOMEPYghInZz5hAbGZBSQkDr54wTyBUWAWktQsJKkFjEyr\r
  65         GGVTcqt0cxMzc4pTk3WLkxPz8lKLdE30cjNL9FJTSjcxgsKSU5J/B+O3g0qHGAU4GJV4eBc0\r
  66         yYcIsSaWFVfmHmKU5GBSEuW9b6oQIsSXlJ9SmZFYnBFfVJqTWnyIUYKDWUmEN0gaKMebklhZ\r
  67         lVqUD5OS5mBREufd9IMvREggPbEkNTs1tSC1CCYrw8GhJMFrCYw/IcGi1PTUirTMnBKENBMH\r
  68         J8hwHqDhXiA1vMUFibnFmekQ+VOMuhzrOr/1Mwmx5OXnpUqJ8yqBFAmAFGWU5sHNgaWTV4zi\r
  69         QG8J8xqBVPEAUxHcpFdAS5iAltw/Lg+ypCQRISXVwDi/OfsG46ufgpMTt3jIWOYfm1rD8DDu\r
  70         aHT3iy9ed29fMOitVemokf2W0FN626ktM996i9LzD/nuux/wf5m3+Mn+tV9XJlXP6juSELVW\r
  71         n1/nzf3W8Puxb63u8Lasv2VnYFaj0KAu85pZ8/jPm2x6wTOvrfVqOSJlq3pM7rP92sCjrhw3\r
  72         +ebfaldiKc5INNRiLipOBABOaxnpAgMAAA==\r
  73 X-BeenThere: notmuch@notmuchmail.org\r
  74 X-Mailman-Version: 2.1.13\r
  75 Precedence: list\r
  76 List-Id: "Use and development of the notmuch mail system."\r
  77         <notmuch.notmuchmail.org>\r
  78 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  79         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  80 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  81 List-Post: <mailto:notmuch@notmuchmail.org>\r
  82 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  83 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  84         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  85 X-List-Received-Date: Mon, 22 Sep 2014 15:40:41 -0000\r
  86 \r
  87 On Mon, 22 Sep 2014, Gaute Hope <eg@gaute.vetsj.com> wrote:\r
  88 > Excerpts from Gaute Hope's message of August 6, 2014 10:29:\r
  89 >> Austin Clements <amdragon@MIT.EDU> wrote on Fri, 01 Aug 2014 14:55:05 -0400:\r
  90 >>> I have a prototype implementation of message modification times on my\r
  91 >>> lastmod-v1 branch at\r
  92 >>> \r
  93 >>>   https://github.com/aclements/notmuch/tree/lastmod-v1\r
  94 >>> \r
  95 >>> It builds on my database features series that's currently awaiting\r
  96 >>> review [1].\r
  97 >>> \r
  98 >>> The series uses a monotonic revision number, rather than wall-clock\r
  99 >>> time, for reasons related to Xapian's concurrent control and detailed\r
 100 >>> in the main commit's commit message.  The implementation isn't quite\r
 101 >>> useful from the CLI yet because I haven't added any way to query the\r
 102 >>> database's current revision number.  (I'm still thinking about how I\r
 103 >>> want to do this, since search/show don't have a good way to deliver\r
 104 >>> "additional" information right now.  I might just add the last\r
 105 >>> modification for each individual message/max of all messages in a\r
 106 >>> thread, similar to what Thomas Jost's patch did long ago.)\r
 107 >>> \r
 108 >>> [1] id:1406859003-11561-1-git-send-email-amdragon@mit.edu\r
 109 >  \r
 110 >> this should allow me to do what I wish to accomplish. The message\r
 111 >> deletion is still a problem though, I can see two options at the moment:\r
 112 >\r
 113 > Hi list,\r
 114 >\r
 115 > While exploring the possibility of syncing maildir/X-keywords with tags\r
 116 > I had some thoughts about lastmod and message modification:\r
 117 >\r
 118 > As briefly discussed on #notmuch, I noticed that it seems that 'notmuch\r
 119 > new' does not detect that a message source has been changed, unless the\r
 120 > file is also re-named.\r
 121 >\r
 122 > This means that for instance if the X-Keywords fields have been updated\r
 123 > in a message (from GMail with offlineimap, synclabels = yes) the lastmod\r
 124 > field will remain unchanged, and a source modification will be\r
 125 > undetectable to a client program using this value.\r
 126 >\r
 127 > Would it not make sense that if a message has a more recent mtime than\r
 128 > at index time it is re-indexed?\r
 129 \r
 130 This has the potential to make notmuch new substantially more expensive.\r
 131 Currently, if there are no changes, it only has to stat each directory\r
 132 in your maildir (in fact, some restructuring of new would let us\r
 133 eliminate almost all database access during a no-op notmuch new as\r
 134 well).  Checking for changes to individual messages would require\r
 135 stat'ing every single message file as well as accessing the database to\r
 136 check the paths and mtimes of every message, increasing the number of\r
 137 stat calls and disk accesses by several orders of magnitude.\r
 138 \r
 139 It may be that this is fast enough that it's okay, but it would be good\r
 140 to gather some evidence first.  That includes hot and cold caches, and\r
 141 maildir over NFS.\r
 142 \r
 143 With respect to X-Keywords specifically, note that it's a fairly basic\r
 144 design decision that notmuch never modifies message files.  This gives\r
 145 us strong robustness guarantees we would be loathe to part with.\r
 146 \r
 147 It has puzzled me ever since offlineimap added X-Keywords why they\r
 148 didn't just translate these keywords into folders and create hard links\r
 149 of message files.  Anything could interact smoothly with that.\r
 150 \r
 151 > Also, for the lastmod branch I would wish for a notmuch_message_touch()\r
 152 > method where the lastmod time is updated to the last. As well as a\r
 153 > notmuch_database_reindex_message () - possibly defined/documented\r
 154 > behaviour for notmuch_database_add_message () when the filename is\r
 155 > already added (in which case I would expect notmuch to re-index the\r
 156 > message).\r
 157 \r
 158 What's the use case for these?\r
 159 \r
 160 > Doing notmuch_database_remove_message followed by _add_message could\r
 161 > risk deleting the entry if this file is the only on-disk-representation.\r
 162 >\r
 163 > Cheers, Gaute\r