cf/acf5003ceeafc03b095875b51c5d33742567f1

   1 Return-Path: <m.walters@qmul.ac.uk>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 20D34431FBC\r
   6         for <notmuch@notmuchmail.org>; Thu, 12 Jun 2014 16:22:09 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 0.502\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=0.502 tagged_above=-999 required=5\r
  12         tests=[DKIM_ADSP_CUSTOM_MED=0.001, FREEMAIL_FROM=0.001,\r
  13         NML_ADSP_CUSTOM_MED=1.2, RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id 6ljCUhlWOIqo for <notmuch@notmuchmail.org>;\r
  17         Thu, 12 Jun 2014 16:22:05 -0700 (PDT)\r
  18 Received: from mail2.qmul.ac.uk (mail2.qmul.ac.uk [138.37.6.6])\r
  19         (using TLSv1 with cipher DHE-RSA-AES256-SHA (256/256 bits))\r
  20         (No client certificate requested)\r
  21         by olra.theworths.org (Postfix) with ESMTPS id DA6A7431FAF\r
  22         for <notmuch@notmuchmail.org>; Thu, 12 Jun 2014 16:22:04 -0700 (PDT)\r
  23 Received: from smtp.qmul.ac.uk ([138.37.6.40])\r
  24         by mail2.qmul.ac.uk with esmtp (Exim 4.71)\r
  25         (envelope-from <m.walters@qmul.ac.uk>)\r
  26         id 1WvEJe-0005o6-EA; Fri, 13 Jun 2014 00:21:56 +0100\r
  27 Received: from 5751dfa2.skybroadband.com ([87.81.223.162] helo=localhost)\r
  28         by smtp.qmul.ac.uk with esmtpsa (TLSv1:AES128-SHA:128) (Exim 4.71)\r
  29         (envelope-from <m.walters@qmul.ac.uk>)\r
  30         id 1WvEJe-0003xt-0m; Fri, 13 Jun 2014 00:21:54 +0100\r
  31 From: Mark Walters <markwalters1009@gmail.com>\r
  32 To: David Bremner <david@tethera.net>, Maarten Aertsen <sagi-notmuch@rtsn.nl>,\r
  33         notmuch@notmuchmail.org\r
  34 Subject: Re: notmuch dump: taking write-lock to protect from concurrent\r
  35         (cronned) notmuch new?\r
  36 In-Reply-To: <87mwdhg2jh.fsf@zancas.localnet>\r
  37 References: <20140606080354.28047.77393@kardo.rtsn.nl>\r
  38         <878upafegc.fsf@qmul.ac.uk> <87mwdhg2jh.fsf@zancas.localnet>\r
  39 User-Agent: Notmuch/0.15.2+615~g78e3a93 (http://notmuchmail.org) Emacs/23.4.1\r
  40         (x86_64-pc-linux-gnu)\r
  41 Date: Fri, 13 Jun 2014 00:21:52 +0100\r
  42 Message-ID: <87zjhh67e7.fsf@qmul.ac.uk>\r
  43 MIME-Version: 1.0\r
  44 Content-Type: text/plain; charset=us-ascii\r
  45 X-Sender-Host-Address: 87.81.223.162\r
  46 X-QM-Geographic: According to ripencc,\r
  47         this message was delivered by a machine in Britain (UK) (GB).\r
  48 X-QM-SPAM-Info: Sender has good ham record.  :)\r
  49 X-QM-Body-MD5: af87aa6497d32c89c7c7980043b12eff (of first 20000 bytes)\r
  50 X-SpamAssassin-Score: -0.1\r
  51 X-SpamAssassin-SpamBar: /\r
  52 X-SpamAssassin-Report: The QM spam filters have analysed this message to\r
  53         determine if it is\r
  54         spam. We require at least 5.0 points to mark a message as spam.\r
  55         This message scored -0.1 points.\r
  56         Summary of the scoring: \r
  57         * 0.0 FREEMAIL_FROM Sender email is commonly abused enduser mail\r
  58         provider *      (markwalters1009[at]gmail.com)\r
  59         * -0.1 AWL AWL: From: address is in the auto white-list\r
  60 X-QM-Scan-Virus: ClamAV says the message is clean\r
  61 X-BeenThere: notmuch@notmuchmail.org\r
  62 X-Mailman-Version: 2.1.13\r
  63 Precedence: list\r
  64 List-Id: "Use and development of the notmuch mail system."\r
  65         <notmuch.notmuchmail.org>\r
  66 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  67         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  68 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  69 List-Post: <mailto:notmuch@notmuchmail.org>\r
  70 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  71 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  72         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  73 X-List-Received-Date: Thu, 12 Jun 2014 23:22:09 -0000\r
  74 \r
  75 \r
  76 Hi\r
  77 \r
  78 On Thu, 12 Jun 2014, David Bremner <david@tethera.net> wrote:\r
  79 > Mark Walters <markwalters1009@gmail.com> writes:\r
  80 >\r
  81 >\r
  82 >>> mjw1009 suggested to change NOTMUCH_DATABASE_MODE_READ_ONLY on line\r
  83 >>> 215 of notmuch-dump.c to NOTMUCH_DATABASE_MODE_READ_WRITE\r
  84 >>>\r
  85 >>> I'm wondering if this hits enough people to motivate the addition of a\r
  86 >>> command line switch (or perhaps even a change in default behaviour?)\r
  87 >>\r
  88 >> I think this is a clear bug but the fix is a little unclear. The above\r
  89 >> fix works but it breaks one of the tests: "unicode message-ids" in\r
  90 >> T150-tagging.sh.\r
  91 >>\r
  92 >> I think the problem is that it does \r
  93 >> notmuch dump | sed... | notmuch restore\r
  94 >>\r
  95 >\r
  96 > My first reaction was "argh, we should be locking things less, not\r
  97 > more".  But then I read \r
  98 >\r
  99 >         http://getting-started-with-xapian.readthedocs.org/en/latest/xapian-core-rst/admin_notes.html?highlight=backup#id10\r
 100 >\r
 101 > and now I'm not so sure, maybe write lock for dump is the right answer.\r
 102 \r
 103 On irc Olly said\r
 104 \r
 105 "I'd suggest locking the db by opening it R/W for the dump at least\r
 106 until you can use reader locking to keep the read revision valid, but\r
 107 it'll be a while before that's in a stable release"\r
 108 \r
 109 and he also said that pipes of the form notmuch dump | ... notmuch\r
 110 restore will probably fail if they change many tags.\r
 111 \r
 112 So it is probably the way to go. But it does run the risk of breaking\r
 113 some peoples (already fragile) scripts.\r
 114 \r
 115 > It seems hard to do anything sensible with "Database.reopen" in the\r
 116 > context of a backup.\r
 117 \r
 118 Yes I agree.\r
 119 \r
 120 Best wishes\r
 121 \r
 122 Mark\r