ec/a911ec2a78736421b1bf638924b5e862dd8063

   1 Return-Path: <mrbulli@yahoo.com>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 4EA7D429E41\r
   6         for <notmuch@notmuchmail.org>; Wed, 23 Nov 2011 09:20:36 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.099\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.099 tagged_above=-999 required=5\r
  12         tests=[DKIM_SIGNED=0.1, DKIM_VALID=-0.1, DKIM_VALID_AU=-0.1,\r
  13         FREEMAIL_FROM=0.001, RCVD_IN_DNSWL_NONE=-0.0001] autolearn=disabled\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id HgltgiMAGnQr for <notmuch@notmuchmail.org>;\r
  17         Wed, 23 Nov 2011 09:20:35 -0800 (PST)\r
  18 Received: from nm14.bullet.mail.sp2.yahoo.com (nm14.bullet.mail.sp2.yahoo.com\r
  19         [98.139.91.84])\r
  20         by olra.theworths.org (Postfix) with SMTP id 8EFEC431FB6\r
  21         for <notmuch@notmuchmail.org>; Wed, 23 Nov 2011 09:20:35 -0800 (PST)\r
  22 Received: from [98.139.91.67] by nm14.bullet.mail.sp2.yahoo.com with NNFMP;\r
  23         23 Nov 2011 17:20:34 -0000\r
  24 Received: from [98.139.91.43] by tm7.bullet.mail.sp2.yahoo.com with NNFMP;\r
  25         23 Nov 2011 17:20:34 -0000\r
  26 Received: from [127.0.0.1] by omp1043.mail.sp2.yahoo.com with NNFMP;\r
  27         23 Nov 2011 17:20:34 -0000\r
  28 X-Yahoo-Newman-Property: ymail-3\r
  29 X-Yahoo-Newman-Id: 255811.61503.bm@omp1043.mail.sp2.yahoo.com\r
  30 Received: (qmail 20946 invoked by uid 60001); 23 Nov 2011 17:20:33 -0000\r
  31 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=yahoo.com; s=s1024;\r
  32         t=1322068833; bh=LqdQrdOLM6CVIwAh0xi8NV4mYf47Yl+tfsIXbhLt2XE=;\r
  33         h=X-YMail-OSG:Received:X-Mailer:References:Message-ID:Date:From:Reply-To:Subject:To:Cc:In-Reply-To:MIME-Version:Content-Type:Content-Transfer-Encoding;\r
  34         b=zdpOBl5HY3JqgAi5r4tmbKMg57uqYxAHmylzdz+j4iK+L+rRcjymPHIaYnPE79Tuk2XEv16Gw5lFB9/5Yigc7e4/r0HQvzU/GPrqocsdrunvWbYPjIkJsuJe/ZyL7gFMum42DD/4Klr0k0H20XCn+As+ngp8oaMf+2ewOwR3vK4=\r
  35 DomainKey-Signature: a=rsa-sha1; q=dns; c=nofws; s=s1024; d=yahoo.com;\r
  36         h=X-YMail-OSG:Received:X-Mailer:References:Message-ID:Date:From:Reply-To:Subject:To:Cc:In-Reply-To:MIME-Version:Content-Type:Content-Transfer-Encoding;\r
  37         b=MEojAI/vl5NuBVAoB+5TD2gTNni+HStoIfGzUACU48Kfpwvjnb1d/aFK7kzfZkl22Re9uM9tm5/P008fObQ9KSo8Q++ComnAs1z6MQijSvh5OlNF7+VJLhFo1qFgT8LjwzcdVhh2rzOf90rBz5L9J+QPhTcNs4fIBHnzSa/UbAY=;\r
  38 X-YMail-OSG: xmstlj8VM1k2ZwvwlKTN9hDfGrOmJkP8qmHbp3MbjZEMfyq\r
  39         wl8fbyLmBNGNMNUnnY36yD_Vny2G5R056XN3UU6C0HbYh.3BNQnyvD0aPTci\r
  40         3hKTJgwqac948mpdsZu_0aILnIyAPSfEHNcXWbCb0RpsdRlL.CsjL1owkf_T\r
  41         yop_sLIpqFoMFLL7Kzq4q3dvPIelw52A3mdQ381UDrRrV8qv4ZaXaXtPSZ88\r
  42         ItEsz_Zlywn2acURywfSeMgYs0mBKFRBEZlBeCwf4F0bN7kIYSluC0JDm_sj\r
  43         jOUbm78..JrFXrk.jhsPA9ohHun7Cq7Bd3_CUoVGr20Qzxmpmy1KzceYJwED\r
  44         eM2niPlpAoEuW51zhE8IXpG7yE.UW3yUeJX_8QZK3EhqneFSsUoyvBY0CaEq\r
  45         G0aYByLNNaL90Sfds5uRv25uyVIxQkxffLahoCbAlCbxB5GbsyOfLOJRD_T8\r
  46         HmSRFgOwyy7gy5C1mrLYK\r
  47 Received: from [74.43.153.1] by web36504.mail.mud.yahoo.com via HTTP;\r
  48         Wed, 23 Nov 2011 09:20:33 PST\r
  49 X-Mailer: YahooMailWebService/0.8.115.325013\r
  50 References: <1321930927.73603.YahooMailNeo@web36506.mail.mud.yahoo.com>\r
  51         <CAMP44s2zf-OpN4u+zv1g+q_nrgkMHUGLUT7cVFZMJ=Xdy-9WdA@mail.gmail.com>\r
  52 Message-ID: <1322068833.15983.YahooMailNeo@web36504.mail.mud.yahoo.com>\r
  53 Date: Wed, 23 Nov 2011 09:20:33 -0800 (PST)\r
  54 From: Tom Bulli <mrbulli@yahoo.com>\r
  55 Subject: Re: Notmuch indexing 21 million emails\r
  56 To: Felipe Contreras <felipe.contreras@gmail.com>\r
  57 In-Reply-To:\r
  58  <CAMP44s2zf-OpN4u+zv1g+q_nrgkMHUGLUT7cVFZMJ=Xdy-9WdA@mail.gmail.com>\r
  59 MIME-Version: 1.0\r
  60 Content-Type: text/plain; charset=iso-8859-1\r
  61 Content-Transfer-Encoding: quoted-printable\r
  62 Cc: "notmuch@notmuchmail.org" <notmuch@notmuchmail.org>\r
  63 X-BeenThere: notmuch@notmuchmail.org\r
  64 X-Mailman-Version: 2.1.13\r
  65 Precedence: list\r
  66 Reply-To: Tom Bulli <mrbulli@yahoo.com>\r
  67 List-Id: "Use and development of the notmuch mail system."\r
  68         <notmuch.notmuchmail.org>\r
  69 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  70         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  71 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  72 List-Post: <mailto:notmuch@notmuchmail.org>\r
  73 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  74 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  75         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  76 X-List-Received-Date: Wed, 23 Nov 2011 17:20:36 -0000\r
  77 \r
  78 I have been able to speed that up with the code below - basically increase =\r
  79 "XAPIAN_FLUSH_THRESHOLD" based on the total virtual memory divided by the a=\r
  80 vg. size of an email times 2 (just to be safe).=A0 It seems to be faster si=\r
  81 nce it does less xapian updates.=A0 However, I have a nagging feeling that =\r
  82 ""XAPIAN_FLUSH_THRESHOLD" could even be higher since I don't see any increa=\r
  83 se in used memory (via "top -d 1").=A0 The server in question has eight CPU=\r
  84  cores and 8GB RAM, running Debian squeeze on a 32bit architecture (I know =\r
  85 - but it is what it is :) ).=0A=0A=0A# Assume an average size of 120KB per =\r
  86 email=0A#=A0 and use at most half the virtual memory=0AXFT=3D$(($(free -otk=\r
  87 =A0 | awk '/^Total/ {print $2}') / 240))=0A# Keep more index info in memory=\r
  88  before flushing to disk=0A[ $XFT -lt 10000 ] && XFT=3D10000=0Asu - archive=\r
  89  -c "export XAPIAN_FLUSH_THRESHOLD=3D$XFT; notmuch new --verbose"=0A=0A=0A=\r
  90 =0A=0A----- Original Message -----=0A> From: Felipe Contreras <felipe.contr=\r
  91 eras@gmail.com>=0A> To: Tom Bulli <mrbulli@yahoo.com>=0A> Cc: "notmuch@notm=\r
  92 uchmail.org" <notmuch@notmuchmail.org>=0A> Sent: Wednesday, November 23, 20=\r
  93 11 10:40 AM=0A> Subject: Re: Notmuch indexing 21 million emails=0A> =0A> On=\r
  94  Tue, Nov 22, 2011 at 5:02 AM, Tom Bulli <mrbulli@yahoo.com> wrote:=0A>>  I=\r
  95  have a project where I need to search about 21 emails - and decided to =0A=\r
  96 > use "notmuch" for it.=A0 The system is a Debian Squeeze, the notmuch =0A>=\r
  97  version is "0.8-1~bpo60+1" from "kyria's" private =0A> repository.=0A>> =\r
  98 =0A>>  I am running the "notmuch new" for approx. 4 days now - and =0A> acc=\r
  99 ording to "not,uch count" it has indexed about 4.5 million emails.=0A>> =0A=\r
 100 >>  Is this expected performance?=A0 Is there any way to speed that up?=0A>=\r
 101  =0A> It would be nice to run something like this with OProfile (or perf)=\r
 102 =0A> and see if there's some obvious fixes.=0A> =0A> -- =0A> Felipe Contrer=\r
 103 as=0A> \r