06/ba2a0f5470f0734ae990a108ad38440103bb6f

   1 Return-Path: <bgamari.foss@gmail.com>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id E318D4196F3\r
   6         for <notmuch@notmuchmail.org>; Wed, 21 Apr 2010 19:37:35 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 0.701\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=0.701 tagged_above=-999 required=5\r
  12         tests=[BAYES_50=0.8, DKIM_SIGNED=0.1, DKIM_VALID=-0.1,\r
  13         DKIM_VALID_AU=-0.1, FREEMAIL_FROM=0.001, RCVD_IN_DNSWL_NONE=-0.0001]\r
  14         autolearn=ham\r
  15 Received: from olra.theworths.org ([127.0.0.1])\r
  16         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  17         with ESMTP id sk8TNzh8V1EP for <notmuch@notmuchmail.org>;\r
  18         Wed, 21 Apr 2010 19:37:34 -0700 (PDT)\r
  19 Received: from mail-qy0-f172.google.com (mail-qy0-f172.google.com\r
  20         [209.85.221.172])\r
  21         by olra.theworths.org (Postfix) with ESMTP id 99F00431FC1\r
  22         for <notmuch@notmuchmail.org>; Wed, 21 Apr 2010 19:37:34 -0700 (PDT)\r
  23 Received: by qyk2 with SMTP id 2so10160267qyk.0\r
  24         for <notmuch@notmuchmail.org>; Wed, 21 Apr 2010 19:37:34 -0700 (PDT)\r
  25 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=gamma;\r
  26         h=domainkey-signature:received:received:from:to:subject:in-reply-to\r
  27         :references:date:message-id:mime-version:content-type;\r
  28         bh=rSQx0DQsW+KHqtu6+Q97uRzoaSJhvQvnMHxeUU3yAl8=;\r
  29         b=WEpzj+ilE7Z20imiN2D7b7wTiT1Z/XehGDfm/8VZDj44g7AuDgR+VVzv5OnWf8nDE/\r
  30         R1+8DSx6zA4WGFSVMOx4n6dhdj/csbXDKccec8+igufgyzCwDZ5OP/HRXXqFag62W+h8\r
  31         9xYgZw/w1pDpiIsuAVQ6vlxL+ZJZ+mmWc2WXU=\r
  32 DomainKey-Signature: a=rsa-sha1; c=nofws; d=gmail.com; s=gamma;\r
  33         h=from:to:subject:in-reply-to:references:date:message-id:mime-version\r
  34         :content-type;\r
  35         b=NTKT1+z/a/yRsRJowfHcIb5/sms/6XbrVNfPL+M/sA3ND/UiUFmAliY4VJ8dEYZ8yo\r
  36         uDBbX9zjSUq15tXpGhOQlj69FUI4Z1fl8OgbzgW97lunNws5Vdhix+swCLITFeNl2PBZ\r
  37         Ed22advFK8epTs2s+biSduI8iADbTd6y7eVU4=\r
  38 Received: by 10.229.224.133 with SMTP id io5mr9388631qcb.37.1271903854008;\r
  39         Wed, 21 Apr 2010 19:37:34 -0700 (PDT)\r
  40 Received: from localhost (physnat56.physics.umass.edu [128.119.50.56])\r
  41         by mx.google.com with ESMTPS id v37sm4909786qce.18.2010.04.21.19.37.31\r
  42         (version=TLSv1/SSLv3 cipher=RC4-MD5);\r
  43         Wed, 21 Apr 2010 19:37:32 -0700 (PDT)\r
  44 From: Ben Gamari <bgamari.foss@gmail.com>\r
  45 To: Carl Worth <cworth@cworth.org>, John Fremlin <john@fremlin.org>,\r
  46         notmuch@notmuchmail.org\r
  47 Subject: Re: Notmuch success: Xapian database corrupt\r
  48 In-Reply-To: <874oj4wdbn.fsf@yoom.home.cworth.org>\r
  49 References: <87r5mchmji.fsf-genuine-vii@john.fremlin.org>\r
  50         <874oj4wdbn.fsf@yoom.home.cworth.org>\r
  51 Date: Wed, 21 Apr 2010 22:37:29 -0400\r
  52 Message-ID: <87r5m8xlee.fsf@gmail.com>\r
  53 MIME-Version: 1.0\r
  54 Content-Type: text/plain; charset=us-ascii\r
  55 X-BeenThere: notmuch@notmuchmail.org\r
  56 X-Mailman-Version: 2.1.13\r
  57 Precedence: list\r
  58 List-Id: "Use and development of the notmuch mail system."\r
  59         <notmuch.notmuchmail.org>\r
  60 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  61         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  62 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  63 List-Post: <mailto:notmuch@notmuchmail.org>\r
  64 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  65 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  66         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  67 X-List-Received-Date: Thu, 22 Apr 2010 02:37:36 -0000\r
  68 \r
  69 On Wed, 21 Apr 2010 17:17:16 -0700, Carl Worth <cworth@cworth.org> wrote:\r
  70 >\r
  71 > I'm not aware of any bugs in notmuch that can result in a corrupt Xapian\r
  72 > database. In fact, this can't be a bug in notmuch alone (since Xapian is\r
  73 > detecting the corruption). There must at least be a bug in Xapian or\r
  74 > else some lower-level failure is occurring (disk full?) that Xapian\r
  75 > can't deal with.\r
  76 > \r
  77 > I've not yet encountered a corrupt Xapian database, so I'm afraid I\r
  78 > don't have any tips to help you with that.\r
  79 > \r
  80 Nor have I experienced any corruption issues. I'd say just hope that it\r
  81 was an isolated incident.\r
  82 \r
  83 > But I'm also surprised to hear that it takes you days to incorporate\r
  84 > your mail into a notmuch database. I have over 600 thousand messages\r
  85 > myself, and it takes a few hours (maybe 4?) to incorporate all of these\r
  86 > messages, but not days, (also with an Intel SSD).\r
  87 > \r
  88 6e5 messages / 4 hours = ~40 messages/s. I don't believe I have ever\r
  89 seen more than 0 messages per second average on my box (granted, with a\r
  90 spinning disk, but I'm generally getting 0.05 messages/second or so), so\r
  91 you are not the only one experiencing such abysmal performance. I sent a\r
  92 message[1] to the list about this a few weeks ago, and Olly and others\r
  93 had some productive input, but nothing that seemed too promising as far\r
  94 as fixing the issue. I then took the issue to the LKML[2], although this\r
  95 hasn't resulted in much progress. I recently switched from ext4 to btrfs\r
  96 and both are quite poor when it comes to notmuch performance, so I'm\r
  97 honestly not entirely convinced the problem can be placed exclusively on\r
  98 the file system.\r
  99 \r
 100 I know that the disk is capable of 20MByte/second sustained (peak of\r
 101 60MByte/second), however I'm lucky to see a throughput of several\r
 102 hundred kByte/second under the workload presented by notmuch.  I have\r
 103 plenty of perf/blktrace data of notmuch new sessions if anyone is\r
 104 interested, but there were unfortunately no takers on the lkml.\r
 105 \r
 106 I am under the impression that Xapian is doing some really\r
 107 knuckle-headed things when it comes to fsync()ing and the like, but I\r
 108 really have a difficult time believing that is the sole issue while\r
 109 others are getting perfectly acceptable performance with spinning disks.\r
 110 \r
 111 I would love to get this issue solved, but my experience is definitely\r
 112 quite limited in the file system/block I/O department and the semester\r
 113 is definitely severely limiting the amount of time I am able to invest\r
 114 in the problem, so I find myself pretty much at the mercy of whoever has\r
 115 time to parse the data. If you are that person, I would be elated to\r
 116 provide you with whatever data you might want/need\r
 117 \r
 118 - Ben\r
 119 \r
 120 \r
 121 [1] id:20100315090401.GA29891@glaive.weftsoar.net\r
 122 [2] id:4b9fa440.12135e0a.7fc8.ffffe745@mx.google.com\r