c4/0a9f237fbcd967dfc372c1d7f34f7d5d898732

   1 Return-Path: <olly@survex.com>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 92E2449F19D\r
   6         for <notmuch@notmuchmail.org>; Tue, 16 Mar 2010 04:08:50 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -4.091\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-4.091 tagged_above=-999 required=5\r
  12         tests=[AWL=-0.092, BAYES_50=0.001, RCVD_IN_DNSWL_MED=-4] autolearn=ham\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id dage82MMcAxu for <notmuch@notmuchmail.org>;\r
  16         Tue, 16 Mar 2010 04:08:48 -0700 (PDT)\r
  17 Received: from atreus.tartarus.org (atreus.tartarus.org [80.252.125.10])\r
  18         by olra.theworths.org (Postfix) with ESMTP id 4832C49F193\r
  19         for <notmuch@notmuchmail.org>; Tue, 16 Mar 2010 04:08:48 -0700 (PDT)\r
  20 Received: from olly by atreus.tartarus.org with local (Exim 4.69)\r
  21         (envelope-from <olly@survex.com>)\r
  22         id 1NrUdj-0001XP-15; Tue, 16 Mar 2010 11:08:47 +0000\r
  23 Date: Tue, 16 Mar 2010 11:08:47 +0000\r
  24 From: Olly Betts <olly@survex.com>\r
  25 To: Ben Gamari <bgamari.foss@gmail.com>\r
  26 Message-ID: <20100316110846.GK10323@survex.com>\r
  27 References: <4b9dccc0.c6c1f10a.3671.44ec@mx.google.com>\r
  28         <20100315090401.GA29891@glaive.weftsoar.net>\r
  29         <slrnhprvfv.hu6.olly@msgid.survex.com>\r
  30         <4b9e6e80.09b6660a.6769.6832@mx.google.com>\r
  31 MIME-Version: 1.0\r
  32 Content-Type: text/plain; charset=us-ascii\r
  33 Content-Disposition: inline\r
  34 In-Reply-To: <4b9e6e80.09b6660a.6769.6832@mx.google.com>\r
  35 User-Agent: Mutt/1.5.18 (2008-05-17)\r
  36 Cc: notmuch@notmuchmail.org\r
  37 Subject: Re: [notmuch] Notmuch performance (literally, in my case)\r
  38 X-BeenThere: notmuch@notmuchmail.org\r
  39 X-Mailman-Version: 2.1.13\r
  40 Precedence: list\r
  41 List-Id: "Use and development of the notmuch mail system."\r
  42         <notmuch.notmuchmail.org>\r
  43 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  44         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  45 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  46 List-Post: <mailto:notmuch@notmuchmail.org>\r
  47 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  48 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  49         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  50 X-List-Received-Date: Tue, 16 Mar 2010 11:08:50 -0000\r
  51 \r
  52 On Mon, Mar 15, 2010 at 10:29:36AM -0700, Ben Gamari wrote:\r
  53 > On Mon, 15 Mar 2010 09:29:35 +0000 (UTC), Olly Betts <olly@survex.com> wrote:\r
  54 > > http://oligarchy.co.uk/xapian/patches/xapian-1.0.18-flint-group-fsyncs.patch\r
  55 > > \r
  56 > > What this does it to at least pair up the calls to fdatasync().  It's\r
  57 > > possible to move them all together, but requires more effort, so it'd be\r
  58 > > nice to know if this is actually going to help.\r
  59 > \r
  60 > This does seem to help. Of course, latency is a difficult thing to measure,\r
  61 > but notmuch does _feel_ faster. That being said, iostat still only shows\r
  62 > 700kByte/second read and 300kByte/second write, so things haven't changed in\r
  63 > the throughput side of things.\r
  64 \r
  65 For the issue of a background task interfering with interactive use, the feel\r
  66 arguably matters more than the throughput.\r
  67 \r
  68 I'll probably put that patch in 1.0.19, and look at moving all the fdatasync()\r
  69 calls together.  This is http://trac.xapian.org/ticket/426 BTW.\r
  70 \r
  71 The kernel should be able to handle this workload better though, so I would\r
  72 say it was worthwhile to bring up on LKML if you have the energy.  It certainly\r
  73 isn't just you, as apt-xapian-index seems to trigger it for some Ubuntu users,\r
  74 and madduck mentioned it on #notmuch a week or so ago.\r
  75 \r
  76 Cheers,\r
  77     Olly\r