32/d5596092df682a6d4424e4f1f2fb525535b85c

   1 Return-Path: <not@just.any.name>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 272284196F2\r
   6         for <notmuch@notmuchmail.org>; Thu, 22 Apr 2010 00:19:04 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.5\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.5 tagged_above=-999 required=5\r
  12         tests=[BAYES_05=-0.5, RCVD_IN_DNSWL_NONE=-0.0001] autolearn=ham\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id 1KTWJBizYpuM for <notmuch@notmuchmail.org>;\r
  16         Thu, 22 Apr 2010 00:19:02 -0700 (PDT)\r
  17 Received: from mtaout03-winn.ispmail.ntl.com (mtaout03-winn.ispmail.ntl.com\r
  18         [81.103.221.49])\r
  19         by olra.theworths.org (Postfix) with ESMTP id 36705431FC1\r
  20         for <notmuch@notmuchmail.org>; Thu, 22 Apr 2010 00:19:02 -0700 (PDT)\r
  21 Received: from aamtaout03-winn.ispmail.ntl.com ([81.103.221.35])        by\r
  22  mtaout03-winn.ispmail.ntl.com  (InterMail vM.7.08.04.00 201-2186-134-20080326)\r
  23  with ESMTP id\r
  24         <20100422071857.FSWV5841.mtaout03-winn.ispmail.ntl.com@aamtaout03-winn.ispmail.ntl.com>;        Thu, 22 Apr 2010 08:18:57 +0100\r
  25 Received: from eurus ([82.31.204.194]) by aamtaout03-winn.ispmail.ntl.com\r
  26         (InterMail vG.2.02.00.01 201-2161-120-102-20060912) with ESMTP\r
  27         id <20100422071856.VKLB1008.aamtaout03-winn.ispmail.ntl.com@eurus>;\r
  28         Thu, 22 Apr 2010 08:18:56 +0100\r
  29 Received: by eurus (Postfix, from userid 1000)\r
  30         id B2544BF6618; Thu, 22 Apr 2010 08:18:54 +0100 (BST)\r
  31 From: John Fremlin <john@fremlin.org>\r
  32 To: notmuch@notmuchmail.org\r
  33 Subject: Re: Notmuch success: Xapian database corrupt\r
  34 References: <87r5mchmji.fsf-genuine-vii@john.fremlin.org>\r
  35         <874oj4wdbn.fsf@yoom.home.cworth.org>\r
  36 X-Home-Page: http://john.fremlin.org\r
  37 Date: Thu, 22 Apr 2010 07:19:58 +0000\r
  38 In-Reply-To: <874oj4wdbn.fsf@yoom.home.cworth.org> (Carl Worth's message of\r
  39         "Wed, 21 Apr 2010 17:17:16 -0700")\r
  40 Message-ID: <87sk6oc5sx.fsf-genuine-vii@john.fremlin.org>\r
  41 User-Agent: Gnus/5.13 (Gnus v5.13) Emacs/23.1.50 (gnu/linux)\r
  42 MIME-Version: 1.0\r
  43 Content-Type: text/plain; charset=us-ascii\r
  44 X-Cloudmark-Analysis: v=1.1 cv=1ggfb5FlKZQUfF3vzm9UBYZ2uTfLsbs/8dSljwg5+mE=\r
  45         c=1 sm=0 a=Fh1FS8teFoAA:10 a=Djc7QQBkJqwA:10 a=kj9zAlcOel0A:10\r
  46         a=bz-zy3QpAAAA:8 a=B5zFYKMbJykDiSlqc4IA:9\r
  47         a=3LK77mJdN1YwUbzsKOEA:7 a=RgiNf_CXBsyXKE2zkuth6i9nFqgA:4\r
  48         a=CjuIK1q_8ugA:10 a=pIMJlJgVeHwA:10\r
  49         a=HpAAvcLHHh0Zw7uRqdWCyQ==:117\r
  50 X-BeenThere: notmuch@notmuchmail.org\r
  51 X-Mailman-Version: 2.1.13\r
  52 Precedence: list\r
  53 List-Id: "Use and development of the notmuch mail system."\r
  54         <notmuch.notmuchmail.org>\r
  55 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  56         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  57 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  58 List-Post: <mailto:notmuch@notmuchmail.org>\r
  59 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  60 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  61         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  62 X-List-Received-Date: Thu, 22 Apr 2010 07:19:04 -0000\r
  63 \r
  64 After the encouraging message from Sebastian. I deleted the\r
  65 .notmuch/xapian dir and started again.\r
  66 \r
  67 It went off a good rate (300+ files/sec) and here was the final score\r
  68 \r
  69 Processed 494764 total files in 2h 54m 41s (47 files/sec.).                 \r
  70 Added 226817 new messages to the database.\r
  71 \r
  72 This is much faster than before. As I haven't changed the storage or the\r
  73 filesystem (ext4,data=ordered over encrypted aes-xts-plain), I just\r
  74 don't know what made the difference. My kernel is now 2.6.32-21-generic\r
  75 #32-Ubuntu and I had an older one the first try a month or so ago.\r
  76 \r
  77 Carl Worth <cworth@cworth.org> writes:\r
  78 [...]\r
  79 > Welcome to notmuch, and I'm so sorry to hear that your initial attempt\r
  80 > to use it was so frustrating.\r
  81 \r
  82 Thanks for the welcome! I was initially impressed by it but rather\r
  83 worried about relying on it after the database corruption.\r
  84 \r
  85 > I'm not aware of any bugs in notmuch that can result in a corrupt Xapian\r
  86 > database. In fact, this can't be a bug in notmuch alone (since Xapian is\r
  87 > detecting the corruption). There must at least be a bug in Xapian or\r
  88 > else some lower-level failure is occurring (disk full?) that Xapian\r
  89 > can't deal with.\r
  90 \r
  91 Disk full is quite likely. I'll try to avoid that in future.\r
  92 \r
  93 [...]\r
  94 > So there's some performance problem that you're having in addition to\r
  95 > the database corruption. Hopefully we can figure that out. What kernel\r
  96 > and filesystem are you using? Are you using an encrypted partition?\r
  97 \r
  98 Happy to say (though frustrating for you), this time it's much\r
  99 faster. Maybe because I had more disk free this time round so the Xapian\r
 100 database became less fragmented? (Speculation, no evidence.) \r