5b/3b7410fe68393fff6e2a33d3ca4f1b23515319

   1 Return-Path: <bgamari.foss@gmail.com>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 23C6A4048F5\r
   6         for <notmuch@notmuchmail.org>; Mon, 15 Mar 2010 10:29:39 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -1.882\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-1.882 tagged_above=-999 required=5\r
  12         tests=[AWL=-0.772, BAYES_05=-1.11] autolearn=ham\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id 7mGzx8oO-5cD for <notmuch@notmuchmail.org>;\r
  16         Mon, 15 Mar 2010 10:29:38 -0700 (PDT)\r
  17 Received: from mail-fx0-f218.google.com (mail-fx0-f218.google.com\r
  18         [209.85.220.218])\r
  19         by olra.theworths.org (Postfix) with ESMTP id EF6B7454968\r
  20         for <notmuch@notmuchmail.org>; Mon, 15 Mar 2010 10:29:37 -0700 (PDT)\r
  21 Received: by fxm10 with SMTP id 10so2440394fxm.30\r
  22         for <notmuch@notmuchmail.org>; Mon, 15 Mar 2010 10:29:37 -0700 (PDT)\r
  23 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=gamma;\r
  24         h=domainkey-signature:received:received:message-id:date:from:subject\r
  25         :to:in-reply-to:references;\r
  26         bh=S8BZX8GJCyRuJme/l6HxGYR5YVLNDNyMTDU1eJQkuSQ=;\r
  27         b=mcMy1Q5/cTBkl3GekIHyPazoix0W4WMnBBzdIK1OGbGf1jfM/rLLTXAPKdmUoXV1bp\r
  28         jOwzqauyXQWLe0zMsKBPegxZ4ZmE/OE0B501MQT43TBSWC5V49MncBGQ3Ym2EdN0orZ8\r
  29         ff6s4cUgU0X2n6rl3zhI/qfOCvPzd4LxUPHhU=\r
  30 DomainKey-Signature: a=rsa-sha1; c=nofws; d=gmail.com; s=gamma;\r
  31         h=message-id:date:from:subject:to:in-reply-to:references;\r
  32         b=wgW6pmGh2SMm6/hzrJ7mN000FAoFnqKEV4XYmo5yOhA4w0UZl19F0FyYMMc7d89fRe\r
  33         iHK7xBhGT0xueagZ9aONNuYbTD8ChFXbwI2Qf0qPf5sDSv4mBQ5xp0Y4iI2nhU6O8ok9\r
  34         zE+9+l/LlMFAs/mQj9pW6N4CIpjzP3o29CyA0=\r
  35 Received: by 10.103.80.22 with SMTP id h22mr5201393mul.127.1268674176829;\r
  36         Mon, 15 Mar 2010 10:29:36 -0700 (PDT)\r
  37 Received: from localhost (umass-959-158.wireless.umass.edu [128.119.77.158])\r
  38         by mx.google.com with ESMTPS id e9sm21762585muf.10.2010.03.15.10.29.35\r
  39         (version=TLSv1/SSLv3 cipher=RC4-MD5);\r
  40         Mon, 15 Mar 2010 10:29:36 -0700 (PDT)\r
  41 Message-ID: <4b9e6e80.09b6660a.6769.6832@mx.google.com>\r
  42 Date: Mon, 15 Mar 2010 10:29:36 -0700 (PDT)\r
  43 From: Ben Gamari <bgamari.foss@gmail.com>\r
  44 To: Olly Betts <olly@survex.com>, notmuch@notmuchmail.org\r
  45 In-Reply-To: <slrnhprvfv.hu6.olly@msgid.survex.com>\r
  46 References: <4b9dccc0.c6c1f10a.3671.44ec@mx.google.com>\r
  47         <20100315090401.GA29891@glaive.weftsoar.net>\r
  48         <slrnhprvfv.hu6.olly@msgid.survex.com>\r
  49 Subject: Re: [notmuch] Notmuch performance (literally, in my case)\r
  50 X-BeenThere: notmuch@notmuchmail.org\r
  51 X-Mailman-Version: 2.1.13\r
  52 Precedence: list\r
  53 List-Id: "Use and development of the notmuch mail system."\r
  54         <notmuch.notmuchmail.org>\r
  55 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  56         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  57 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  58 List-Post: <mailto:notmuch@notmuchmail.org>\r
  59 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  60 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  61         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  62 X-List-Received-Date: Mon, 15 Mar 2010 17:29:39 -0000\r
  63 \r
  64 On Mon, 15 Mar 2010 09:29:35 +0000 (UTC), Olly Betts <olly@survex.com> wrote:\r
  65 > On 2010-03-15, Hans Dieter Pearcey wrote:\r
  66 > > On Sun, 14 Mar 2010 22:59:28 -0700 (PDT), Ben Gamari wrote:\r
  67 > >> Notmuch is using xapian 1.08-1.99karmic from the Xapian backports PPA, which\r
  68 > >> I believe includes the recent database update optimizations.\r
  69 > >\r
  70 > > As far as I know, it doesn't.  1.0.18 is the stable version in which it was\r
  71 > > fixed.\r
  72 > \r
  73 > 1.0.18 is also the version that's in the PPA - 1.08 has to be a typo as the\r
  74 > PPA tracks currently releases closely, and 1.0.8 is 18 months old.\r
  75 \r
  76 Yep, my bad. That was a typo.\r
  77 \r
  78 > \r
  79 > I've seen a similar issue reported with apt-xapian-index in Ubuntu (it uses\r
  80 > Xapian to maintain a database of packages).  But I've never seen anything\r
  81 > like this myself, despite running Ubuntu on my laptop and spending a lot of\r
  82 > my time building Xapian databases.\r
  83 >\r
  84 > Can you try this patch (you'll need to rebuild Xapian from source, and\r
  85 > depending where you install it, perhaps set LD_LIBRARY_PATH to ensure the new\r
  86 > build gets used):\r
  87 > \r
  88 > http://oligarchy.co.uk/xapian/patches/xapian-1.0.18-flint-group-fsyncs.patch\r
  89 > \r
  90 > What this does it to at least pair up the calls to fdatasync().  It's\r
  91 > possible to move them all together, but requires more effort, so it'd be\r
  92 > nice to know if this is actually going to help.\r
  93 > \r
  94 \r
  95 This does seem to help. Of course, latency is a difficult thing to measure, but\r
  96 notmuch does _feel_ faster. That being said, iostat still only shows\r
  97 700kByte/second read and 300kByte/second write, so things haven't changed in\r
  98 the throughput side of things.\r