48/8c9203c3b99d6d915af2310cb3f091159ca988

   1 Return-Path: <patricktotzke@gmail.com>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 25E7E431FBD\r
   6         for <notmuch@notmuchmail.org>; Tue, 11 Dec 2012 10:26:47 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.799\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.799 tagged_above=-999 required=5\r
  12         tests=[DKIM_SIGNED=0.1, DKIM_VALID=-0.1, DKIM_VALID_AU=-0.1,\r
  13         FREEMAIL_FROM=0.001, RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id BD7mH5h8VfnV for <notmuch@notmuchmail.org>;\r
  17         Tue, 11 Dec 2012 10:26:46 -0800 (PST)\r
  18 Received: from mail-wi0-f175.google.com (mail-wi0-f175.google.com\r
  19         [209.85.212.175]) (using TLSv1 with cipher RC4-SHA (128/128 bits))\r
  20         (No client certificate requested)\r
  21         by olra.theworths.org (Postfix) with ESMTPS id 51B15431FBC\r
  22         for <notmuch@notmuchmail.org>; Tue, 11 Dec 2012 10:26:46 -0800 (PST)\r
  23 Received: by mail-wi0-f175.google.com with SMTP id hm11so2094754wib.2\r
  24         for <notmuch@notmuchmail.org>; Tue, 11 Dec 2012 10:26:43 -0800 (PST)\r
  25 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=20120113;\r
  26         h=content-type:mime-version:content-disposition:to:from:in-reply-to\r
  27         :cc:references:message-id:user-agent:subject:date;\r
  28         bh=R9pZyJkU0CFmldU2joZA0jvKor0C37/xDY78a1vH49Q=;\r
  29         b=gIxScFvlbW9Wuti5xZpTjEk8Q3kLDdTCGfqZ17qMGcgKVa70ElhlJLq0hex0jFChZF\r
  30         oqyIN5Klmv8vvmt0Sg8rs2uMDcGZhQiWM8fdtynmC3UWfs9pAXnrt9pThsGsAlmHjnUV\r
  31         wUcfEy4kSLpTx+76F5lk/LiQwDgGRIcsUqZbA89bK+POA9SG6QJxxh7SbLQZNWvcvRAm\r
  32         TVpzfr2XRB8e8XKEOjzq+U0dKuCpLaSJjxy6Rd7OsrUHVmxKp7HXKt7ff1+w8MwU7I1j\r
  33         GfSv9cdv5iRz1c+EWExRkhiRONks6hX7dHAel2ym1w+1JqwS0VBpBl2YrLwF3pT03lH2\r
  34         CB9Q==\r
  35 Received: by 10.194.82.2 with SMTP id e2mr2122285wjy.39.1355250402531;\r
  36         Tue, 11 Dec 2012 10:26:42 -0800 (PST)\r
  37 Received: from localhost (cpc14-sgyl28-2-0-cust332.18-2.cable.virginmedia.com.\r
  38         [82.39.85.77])\r
  39         by mx.google.com with ESMTPS id bd7sm17437419wib.8.2012.12.11.10.26.39\r
  40         (version=TLSv1/SSLv3 cipher=OTHER);\r
  41         Tue, 11 Dec 2012 10:26:40 -0800 (PST)\r
  42 Content-Type: multipart/signed; protocol="application/pgp-signature";\r
  43         micalg="pgp-sha1"; boundary="===============7418330742985369319=="\r
  44 MIME-Version: 1.0\r
  45 Content-Disposition: inline\r
  46 To: "Jason A. Donenfeld" <Jason@zx2c4.com>, \r
  47 From: Patrick Totzke <patricktotzke@gmail.com>\r
  48 In-Reply-To:\r
  49  <CAHmME9phAD0JKHDf+1KuCPyo4WXpDW5NESAE_iT3Ruv3bEVCuw@mail.gmail.com>\r
  50 References:\r
  51  <CAHmME9phAD0JKHDf+1KuCPyo4WXpDW5NESAE_iT3Ruv3bEVCuw@mail.gmail.com>\r
  52 Message-ID: <20121211182638.27237.98903@brick.lan>\r
  53 User-Agent: alot/0.3.3+\r
  54 Subject: Re: notmuch python bindings corrupt db index (was: gmail importer\r
  55         script)\r
  56 Date: Tue, 11 Dec 2012 18:26:38 +0000\r
  57 Cc: notmuch@notmuchmail.org\r
  58 X-BeenThere: notmuch@notmuchmail.org\r
  59 X-Mailman-Version: 2.1.13\r
  60 Precedence: list\r
  61 List-Id: "Use and development of the notmuch mail system."\r
  62         <notmuch.notmuchmail.org>\r
  63 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  64         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  65 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  66 List-Post: <mailto:notmuch@notmuchmail.org>\r
  67 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  68 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  69         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  70 X-List-Received-Date: Tue, 11 Dec 2012 18:26:47 -0000\r
  71 \r
  72 --===============7418330742985369319==\r
  73 Content-Type: text/plain; charset="utf-8"\r
  74 MIME-Version: 1.0\r
  75 Content-Transfer-Encoding: quoted-printable\r
  76 \r
  77 Quoting Jason A. Donenfeld (2012-12-11 13:47:32)\r
  78 > On Tue, Dec 11, 2012 at 11:04 AM, Patrick Totzke\r
  79 > <patricktotzke@gmail.com> wrote:\r
  80 > > I ended up killing the process after i saw that ETA was >3h.\r
  81 > =\r
  82 \r
  83 > Gmail's bottleneck. Very unfortunate. Leave it going over night.\r
  84 \r
  85 OK, i assumed i'd not have to download all messages because i already have =\r
  86 them\r
  87 on disk -- synced via offlineimap. but then i remembered that OI stores uses\r
  88 its own naming scheme for the files in a maildir. so thats probably why you=\r
  89 r script\r
  90 did not realize theyre already there. (maybe it should? it could look up th=\r
  91 e MIDs from notmuch)\r
  92 \r
  93 > > This broke my index!\r
  94 > >\r
  95 > > afterwards, a `notmuch new` printed\r
  96 > >\r
  97 > > A Xapian exception occurred creating a directory: Expected block\r
  98 > > 485 to be level 1, not 0.\r
  99 > >\r
 100 > > I wasnt able to properly read the index anymore and had to\r
 101 > > restore an old index dump. not cool!\r
 102 > =\r
 103 \r
 104 > =\r
 105 \r
 106 > Can you provide any more information about this? The script properly\r
 107 > uses atomic transactions. Any corruption here is the result of a\r
 108 > notmuch library bug, which should be investigated.\r
 109 \r
 110 i am kind of reluctant to reproduce this again (on my work-desktop).\r
 111 All i did was start your script, writing to the index in another terminal i=\r
 112 n between (using alot)\r
 113 possibly my cronjob fired a "notmuch new; afew.." in between also.\r
 114 when I killed your script the index war broken.\r
 115 \r
 116 Can i turn on some global logging for notmuch to debug this?\r
 117 Maybe libnotmuch had trouble with so many db-writes at a time?\r
 118 \r
 119 /p\r
 120 \r
 121 \r
 122 \r
 123 --===============7418330742985369319==\r
 124 MIME-Version: 1.0\r
 125 Content-Transfer-Encoding: 7bit\r
 126 Content-Description: signature\r
 127 Content-Type: application/pgp-signature; name="signature.asc"; charset="us-ascii"\r
 128 \r
 129 -----BEGIN PGP SIGNATURE-----\r
 130 Version: GnuPG v1.4.11 (GNU/Linux)\r
 131 \r
 132 iEYEABECAAYFAlDHet4ACgkQlDQDZ9fWxap4BgCdFxBrgs+jIadzi/xvsAVB9mnY\r
 133 s2UAoJZXSab5ftLEa1+d7ORHFiHsJy62\r
 134 =WT0i\r
 135 -----END PGP SIGNATURE-----\r
 136 \r
 137 --===============7418330742985369319==--\r