f5/cc0cb326e34683965a34a0e4810dbb5d4ff796

   1 Return-Path: <amdragon@mit.edu>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 15A6C431FB6\r
   6         for <notmuch@notmuchmail.org>; Mon, 25 Jun 2012 10:59:22 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.7\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
  12         tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id cKxtNjxO4jYF for <notmuch@notmuchmail.org>;\r
  16         Mon, 25 Jun 2012 10:59:20 -0700 (PDT)\r
  17 Received: from dmz-mailsec-scanner-2.mit.edu (DMZ-MAILSEC-SCANNER-2.MIT.EDU\r
  18         [18.9.25.13])\r
  19         by olra.theworths.org (Postfix) with ESMTP id E24BA431FAF\r
  20         for <notmuch@notmuchmail.org>; Mon, 25 Jun 2012 10:59:19 -0700 (PDT)\r
  21 X-AuditID: 1209190d-b7fd56d000000933-cd-4fe8a6f776df\r
  22 Received: from mailhub-auth-1.mit.edu ( [18.9.21.35])\r
  23         by dmz-mailsec-scanner-2.mit.edu (Symantec Messaging Gateway) with SMTP\r
  24         id 3C.53.02355.7F6A8EF4; Mon, 25 Jun 2012 13:59:19 -0400 (EDT)\r
  25 Received: from outgoing.mit.edu (OUTGOING-AUTH.MIT.EDU [18.7.22.103])\r
  26         by mailhub-auth-1.mit.edu (8.13.8/8.9.2) with ESMTP id q5PHxIw9018999; \r
  27         Mon, 25 Jun 2012 13:59:18 -0400\r
  28 Received: from awakening.csail.mit.edu (awakening.csail.mit.edu [18.26.4.91])\r
  29         (authenticated bits=0)\r
  30         (User authenticated as amdragon@ATHENA.MIT.EDU)\r
  31         by outgoing.mit.edu (8.13.6/8.12.4) with ESMTP id q5PHxG4x010040\r
  32         (version=TLSv1/SSLv3 cipher=AES256-SHA bits=256 verify=NOT);\r
  33         Mon, 25 Jun 2012 13:59:17 -0400 (EDT)\r
  34 Received: from amthrax by awakening.csail.mit.edu with local (Exim 4.77)\r
  35         (envelope-from <amdragon@mit.edu>)\r
  36         id 1SjDZE-0004TW-00; Mon, 25 Jun 2012 13:59:16 -0400\r
  37 From: Austin Clements <amdragon@MIT.EDU>\r
  38 To: Sascha Silbe <sascha-ml-reply-to-2012-3@silbe.org>,\r
  39         notmuch <notmuch@notmuchmail.org>\r
  40 Subject: Re: [PATCH 0/3] Speed up notmuch new for unchanged directories\r
  41 In-Reply-To: <1340555366-25891-1-git-send-email-sascha-pgp@silbe.org>\r
  42 References: <1340555366-25891-1-git-send-email-sascha-pgp@silbe.org>\r
  43 User-Agent: Notmuch/0.12+132~gf2f390b (http://notmuchmail.org) Emacs/23.3.1\r
  44         (i486-pc-linux-gnu)\r
  45 Date: Mon, 25 Jun 2012 13:59:15 -0400\r
  46 Message-ID: <87pq8n1de4.fsf@awakening.csail.mit.edu>\r
  47 MIME-Version: 1.0\r
  48 Content-Type: text/plain; charset=us-ascii\r
  49 X-Brightmail-Tracker:\r
  50  H4sIAAAAAAAAA+NgFnrEIsWRmVeSWpSXmKPExsUixCmqrPt92Qt/g58HeSyu35zJbPH22Q1G\r
  51         ByaPZ6tuMXts/PuDJYApissmJTUnsyy1SN8ugStjVvNr9oKVPBWHz81gbWD8ytnFyMkhIWAi\r
  52         sX1TDzuELSZx4d56ti5GLg4hgX2MEpfunmCCcDYwSvTsfc0C4Zxkkljxci0zhLOEUaKpYxUj\r
  53         SD+bgIbEtv3LwWwRgSSJR0da2UBsYQF3iYVvLjCB2JwCrhIzHk4EiwsJuEjsWncGrF5UIF7i\r
  54         T+9msDiLgKrEg89XWEFsXqD7bl04zg5hC0qcnPmEBcRmFtCSuPHvJdMERoFZSFKzkKQWMDKt\r
  55         YpRNya3SzU3MzClOTdYtTk7My0st0jXSy80s0UtNKd3ECA5KSd4djO8OKh1iFOBgVOLh9ah/\r
  56         4S/EmlhWXJl7iFGSg0lJlHfREqAQX1J+SmVGYnFGfFFpTmrxIUYJDmYlEd4T84FyvCmJlVWp\r
  57         RfkwKWkOFiVx3ispN/2FBNITS1KzU1MLUotgsjIcHEoSvFzA6BMSLEpNT61Iy8wpQUgzcXCC\r
  58         DOcBGi67FGR4cUFibnFmOkT+FKOilDivNEizAEgiozQPrheWNF4xigO9IszLDVLFA0w4cN2v\r
  59         gAYzAQ1uPfAMZHBJIkJKqoGxaYGhq+uZF+uues8stvSe901md2n9dsZt+9yDGr9f+z4528DN\r
  60         846zSltLesXZtywJn5rWzLPpTytlrXtUZDVNy+XhjpPWSWoHTXbOj57dGTBPOuvenE2inaJ5\r
  61         6t2SO4TM1bfofzrhkWger2sTfvddQ2Tpc/Xg5y8aXY4HFxhK/8pve+5XNVGJpTgj0VCLuag4\r
  62         EQA28Z169QIAAA==\r
  63 X-BeenThere: notmuch@notmuchmail.org\r
  64 X-Mailman-Version: 2.1.13\r
  65 Precedence: list\r
  66 List-Id: "Use and development of the notmuch mail system."\r
  67         <notmuch.notmuchmail.org>\r
  68 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  69         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  70 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  71 List-Post: <mailto:notmuch@notmuchmail.org>\r
  72 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  73 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  74         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  75 X-List-Received-Date: Mon, 25 Jun 2012 17:59:22 -0000\r
  76 \r
  77 On Sun, 24 Jun 2012, Sascha Silbe <sascha-pgp@silbe.org> wrote:\r
  78 > All the time I thought what makes "notmuch new" so abysmally slow is the\r
  79 > stat() for each maildir. But as it continued to be slow even after I\r
  80 > moved most mails out of 'new' (into 'new-20120624'), I strace'd notmuch\r
  81 > and noticed it listed even unchanged directories, thereby listing and\r
  82 > iterating over each and every single of the 900k mails in my mail store.\r
  83 >\r
  84 > There's still quite some room for further improvements as it continues\r
  85 > to take several minutes to scan < 100 new mails in changed directories\r
  86 > containing < 1000 mails in total. Even the rsync run that fetches the\r
  87 > new mails is faster.\r
  88 \r
  89 I haven't looked over your patches yet, but this result surprises me.\r
  90 Could you explain your setup a little more?  How much mail do you have\r
  91 and across how many directories?  What file system are you using?\r
  92 \r
  93 I'm also surprised that your new approach helps.  This directory listing\r
  94 has to be read off disk one way or the other, but listing directories is\r
  95 the bread-and-butter of file systems, whereas I would think that Xapian\r
  96 would require more IO to accomplish the same effect.  Does your patch\r
  97 win because you can specifically list subdirectories out of Xapian,\r
  98 making the IO proportional to the number of subdirectories instead of\r
  99 the number of subdirectories and files (even though the constant factors\r
 100 probably favor reading from the file system)?\r
 101 \r
 102 I like the idea of these patches, I just want to make sure I have a firm\r
 103 grip on what's being optimized and why it wins.\r