58/9d9e61ceffca58b35400bbe64fa2a8d456f854

   1 Return-Path: <aneesh.kumar@linux.vnet.ibm.com>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 51075404947\r
   6         for <notmuch@notmuchmail.org>; Tue, 16 Mar 2010 10:10:28 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -3.943\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-3.943 tagged_above=-999 required=5 tests=[AWL=0.056,\r
  12         BAYES_50=0.001, RCVD_IN_DNSWL_MED=-4] autolearn=ham\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id XdhZlTgZUa5F for <notmuch@notmuchmail.org>;\r
  16         Tue, 16 Mar 2010 10:10:25 -0700 (PDT)\r
  17 Received: from e23smtp02.au.ibm.com (e23smtp02.au.ibm.com [202.81.31.144])\r
  18         by olra.theworths.org (Postfix) with ESMTP id EE385404942\r
  19         for <notmuch@notmuchmail.org>; Tue, 16 Mar 2010 10:10:24 -0700 (PDT)\r
  20 Received: from d23relay05.au.ibm.com (d23relay05.au.ibm.com [202.81.31.247])\r
  21         by e23smtp02.au.ibm.com (8.14.3/8.13.1) with ESMTP id o2GH77Yg012514\r
  22         for <notmuch@notmuchmail.org>; Wed, 17 Mar 2010 04:07:07 +1100\r
  23 Received: from d23av03.au.ibm.com (d23av03.au.ibm.com [9.190.234.97])\r
  24         by d23relay05.au.ibm.com (8.13.8/8.13.8/NCO v10.0) with ESMTP id\r
  25         o2GH4S0q1454158\r
  26         for <notmuch@notmuchmail.org>; Wed, 17 Mar 2010 04:04:28 +1100\r
  27 Received: from d23av03.au.ibm.com (loopback [127.0.0.1])\r
  28         by d23av03.au.ibm.com (8.14.3/8.13.1/NCO v10.0 AVout) with ESMTP id\r
  29         o2GHAMKQ027341\r
  30         for <notmuch@notmuchmail.org>; Wed, 17 Mar 2010 04:10:22 +1100\r
  31 Received: from skywalker.linux.vnet.ibm.com ([9.77.214.188])\r
  32         by d23av03.au.ibm.com (8.14.3/8.13.1/NCO v10.0 AVin) with ESMTP id\r
  33         o2GHAHqS027185; Wed, 17 Mar 2010 04:10:19 +1100\r
  34 From: "Aneesh Kumar K. V" <aneesh.kumar@linux.vnet.ibm.com>\r
  35 To: Ben Gamari <bgamari.foss@gmail.com>, Olly Betts <olly@survex.com>,\r
  36         martin f krafft <madduck@madduck.net>\r
  37 In-Reply-To: <4b9fa5d2.0a4d5e0a.0c0b.ffffdcbb@mx.google.com>\r
  38 References: <4b9dccc0.c6c1f10a.3671.44ec@mx.google.com>\r
  39         <20100315090401.GA29891@glaive.weftsoar.net>\r
  40         <slrnhprvfv.hu6.olly@msgid.survex.com>\r
  41         <4b9e6e80.09b6660a.6769.6832@mx.google.com>\r
  42         <20100316110846.GK10323@survex.com>\r
  43         <4b9fa5d2.0a4d5e0a.0c0b.ffffdcbb@mx.google.com>\r
  44 Date: Tue, 16 Mar 2010 22:40:17 +0530\r
  45 Message-ID: <87mxy8chvq.fsf@linux.vnet.ibm.com>\r
  46 MIME-Version: 1.0\r
  47 Content-Type: text/plain; charset=us-ascii\r
  48 Cc: notmuch@notmuchmail.org\r
  49 Subject: Re: [notmuch] Notmuch performance (literally, in my case)\r
  50 X-BeenThere: notmuch@notmuchmail.org\r
  51 X-Mailman-Version: 2.1.13\r
  52 Precedence: list\r
  53 List-Id: "Use and development of the notmuch mail system."\r
  54         <notmuch.notmuchmail.org>\r
  55 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  56         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  57 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  58 List-Post: <mailto:notmuch@notmuchmail.org>\r
  59 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  60 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  61         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  62 X-List-Received-Date: Tue, 16 Mar 2010 17:10:28 -0000\r
  63 \r
  64 On Tue, 16 Mar 2010 08:37:54 -0700 (PDT), Ben Gamari <bgamari.foss@gmail.com> wrote:\r
  65 > On Tue, 16 Mar 2010 11:08:47 +0000, Olly Betts <olly@survex.com> wrote:\r
  66 > > For the issue of a background task interfering with interactive use, the feel\r
  67 > > arguably matters more than the throughput.\r
  68 > > \r
  69 > > I'll probably put that patch in 1.0.19, and look at moving all the fdatasync()\r
  70 > > calls together.  This is http://trac.xapian.org/ticket/426 BTW.\r
  71 > > \r
  72 > > The kernel should be able to handle this workload better though, so I would\r
  73 > > say it was worthwhile to bring up on LKML if you have the energy.  It certainly\r
  74 > > isn't just you, as apt-xapian-index seems to trigger it for some Ubuntu users,\r
  75 > > and madduck mentioned it on #notmuch a week or so ago.\r
  76 > \r
  77 > Alright. This issue has been bothering me for a very long time and it's frankly\r
  78 > pretty pathetic how badly the kernel falls apart under this sort of workload.\r
  79 > I just wrote up a message (4b9fa440.12135e0a.7fc8.ffffe745@mx.google.com), so\r
  80 > we'll see what happens. In the past kernel developers have been very eager to\r
  81 > write this issue off as not reproducible enough (perhaps wisely), so if anyone\r
  82 > has anything to say, please contribute it to the thread.\r
  83 > \r
  84 \r
  85 Ext3 fsync related issue is a know problem due to the way journalling is\r
  86 handled in ext3. The solution for that would be data=writeback ( with\r
  87 its loss of data integrity ) or not yet upstreamed data=guarded. Another\r
  88 option would be to try ext4 which should not be impacted that badly by\r
  89 the data=ordered journalled mode\r
  90 \r
  91 -aneesh\r