aa/3fa50f7c429b51fa633377a6fd91e484736784

   1 Return-Path: <amdragon@mit.edu>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 3C627431FBC\r
   6         for <notmuch@notmuchmail.org>; Wed, 12 Dec 2012 12:49:28 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.7\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
  12         tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id RFgI5+-oFAbI for <notmuch@notmuchmail.org>;\r
  16         Wed, 12 Dec 2012 12:49:27 -0800 (PST)\r
  17 Received: from dmz-mailsec-scanner-3.mit.edu (DMZ-MAILSEC-SCANNER-3.MIT.EDU\r
  18         [18.9.25.14])\r
  19         by olra.theworths.org (Postfix) with ESMTP id AD9C7431FB6\r
  20         for <notmuch@notmuchmail.org>; Wed, 12 Dec 2012 12:49:27 -0800 (PST)\r
  21 X-AuditID: 1209190e-b7f516d0000008e4-4d-50c8edd70b77\r
  22 Received: from mailhub-auth-1.mit.edu ( [18.9.21.35])\r
  23         by dmz-mailsec-scanner-3.mit.edu (Symantec Messaging Gateway) with SMTP\r
  24         id 75.B0.02276.7DDE8C05; Wed, 12 Dec 2012 15:49:27 -0500 (EST)\r
  25 Received: from outgoing.mit.edu (OUTGOING-AUTH.MIT.EDU [18.7.22.103])\r
  26         by mailhub-auth-1.mit.edu (8.13.8/8.9.2) with ESMTP id qBCKnQwm023632; \r
  27         Wed, 12 Dec 2012 15:49:26 -0500\r
  28 Received: from awakening.csail.mit.edu (awakening.csail.mit.edu [18.26.4.91])\r
  29         (authenticated bits=0)\r
  30         (User authenticated as amdragon@ATHENA.MIT.EDU)\r
  31         by outgoing.mit.edu (8.13.6/8.12.4) with ESMTP id qBCKnNrk024766\r
  32         (version=TLSv1/SSLv3 cipher=DHE-RSA-AES128-SHA bits=128 verify=NOT);\r
  33         Wed, 12 Dec 2012 15:49:25 -0500 (EST)\r
  34 Received: from amthrax by awakening.csail.mit.edu with local (Exim 4.80)\r
  35         (envelope-from <amdragon@mit.edu>)\r
  36         id 1TitF4-0007I4-SE; Wed, 12 Dec 2012 15:49:22 -0500\r
  37 Date: Wed, 12 Dec 2012 15:49:22 -0500\r
  38 From: Austin Clements <amdragon@MIT.EDU>\r
  39 To: Patrick Totzke <patricktotzke@gmail.com>\r
  40 Subject: Re: notmuch python bindings corrupt db index (was: gmail importer\r
  41         script)\r
  42 Message-ID: <20121212204922.GB6187@mit.edu>\r
  43 References:\r
  44  <CAHmME9phAD0JKHDf+1KuCPyo4WXpDW5NESAE_iT3Ruv3bEVCuw@mail.gmail.com>\r
  45         <20121211182638.27237.98903@brick.lan>\r
  46         <CAHmME9qafP5He4hYPEAyrtS4hq3CRNKBQfvxvP=r4L6uDeqt1w@mail.gmail.com>\r
  47 MIME-Version: 1.0\r
  48 Content-Type: text/plain; charset=us-ascii\r
  49 Content-Disposition: inline\r
  50 In-Reply-To:\r
  51  <CAHmME9qafP5He4hYPEAyrtS4hq3CRNKBQfvxvP=r4L6uDeqt1w@mail.gmail.com>\r
  52 User-Agent: Mutt/1.5.21 (2010-09-15)\r
  53 X-Brightmail-Tracker:\r
  54  H4sIAAAAAAAAA+NgFuphleLIzCtJLcpLzFFi42IR4hRV1r3+9kSAwfkV/BYPrkpZXL85k9ni\r
  55         4hdZB2aPnbPusns8W3WL2WPy36fMAcxRXDYpqTmZZalF+nYJXBkbm26zFMzirNh57BNjA+NC\r
  56         9i5GDg4JAROJBZvVuxg5gUwxiQv31rN1MXJxCAnsY5S4f3clC4SzgVGi83oDI4RzkUni3/lG\r
  57         dghnCaPErSeHmUH6WQRUJZ4/fskIYrMJaEhs278czBYR0JF4uGAnE4jNLOAsMWnPbRYQW1gg\r
  58         ROJldwtYnFdAW+Jjy0GoDQcYJa5MfwKVEJQ4OfMJC0SzlsSNfy+ZQO5mFpCWWP6PAyTMKRAo\r
  59         8XjaKbAbRAVUJKac3MY2gVFoFpLuWUi6ZyF0L2BkXsUom5JbpZubmJlTnJqsW5ycmJeXWqRr\r
  60         rJebWaKXmlK6iREc6JJ8Oxi/HlQ6xCjAwajEw3vh5fEAIdbEsuLK3EOMkhxMSqK8K5+cCBDi\r
  61         S8pPqcxILM6ILyrNSS0+xCjBwawkwut2ACjHm5JYWZValA+TkuZgURLnvZJy019IID2xJDU7\r
  62         NbUgtQgmK8PBoSTBqw6MaCHBotT01Iq0zJwShDQTByfIcB6g4dwgNbzFBYm5xZnpEPlTjIpS\r
  63         4rzn3wAlBEASGaV5cL2wRPSKURzoFWFeDpB2HmASg+t+BTSYCWhw3KXjIINLEhFSUg2Mwj42\r
  64         uc8P+zw4/qxd57NIsGPXTNOtlYUN65Jzv6rX+7DGShXVsGzlnPHj3MnpOQ96hMzeXLDcl3Qq\r
  65         MVzHhSF/ukToNQ024wNn93i7H+mz32l1IKu4WeLQs7fcfffskidmu9nNVpIXPVkmlsWpe+zb\r
  66         rrJ76fsccgvuHXYtuTErtm7ZT0GWrYZKLMUZiYZazEXFiQA9XRU0HwMAAA==\r
  67 Cc: notmuch@notmuchmail.org\r
  68 X-BeenThere: notmuch@notmuchmail.org\r
  69 X-Mailman-Version: 2.1.13\r
  70 Precedence: list\r
  71 List-Id: "Use and development of the notmuch mail system."\r
  72         <notmuch.notmuchmail.org>\r
  73 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  74         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  75 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  76 List-Post: <mailto:notmuch@notmuchmail.org>\r
  77 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  78 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  79         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  80 X-List-Received-Date: Wed, 12 Dec 2012 20:49:28 -0000\r
  81 \r
  82 Quoth Jason A. Donenfeld on Dec 12 at  7:35 pm:\r
  83 > On Tue, Dec 11, 2012 at 7:26 PM, Patrick Totzke <patricktotzke@gmail.com> wrote:\r
  84 > > i am kind of reluctant to reproduce this again (on my work-desktop).\r
  85 > \r
  86 > It'd really be a huge help if you could backup and try...\r
  87 > \r
  88 > > All i did was start your script, writing to the index in another terminal in between (using alot)\r
  89 > > possibly my cronjob fired a "notmuch new; afew.." in between also.\r
  90 > > when I killed your script the index war broken.\r
  91 > >\r
  92 > > Can i turn on some global logging for notmuch to debug this?\r
  93 > > Maybe libnotmuch had trouble with so many db-writes at a time?\r
  94 > \r
  95 > That is very wrong and bizarre. I open the database in read/write\r
  96 > mode, which is supposed to lock other programs from accessing it in\r
  97 > this way... Very strange.\r
  98 \r
  99 There should be no way to corrupt the database at this level through\r
 100 the Xapian API, which means nothing libnotmuch can do (much less users\r
 101 of libnotmuch) should be able to corrupt the database.  If you can\r
 102 reproduce the problem, it's probably a serious bug in Xapian, but it\r
 103 could also have been a file system bug or even random file system\r
 104 corruption.\r