b1/494b6005920fb1aef412f9e8909a2094301621

   1 Return-Path: <amdragon@gmail.com>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 1899D431FD0\r
   6         for <notmuch@notmuchmail.org>; Tue, 12 Jul 2011 17:51:00 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 0.614\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=0.614 tagged_above=-999 required=5\r
  12         tests=[DKIM_SIGNED=0.1, DKIM_VALID=-0.1, FREEMAIL_FROM=0.001,\r
  13         RCVD_IN_DNSWL_LOW=-0.7, URI_HEX=1.313] autolearn=disabled\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id EnBW1OBe79kx for <notmuch@notmuchmail.org>;\r
  17         Tue, 12 Jul 2011 17:50:57 -0700 (PDT)\r
  18 Received: from mail-qw0-f53.google.com (mail-qw0-f53.google.com\r
  19         [209.85.216.53]) (using TLSv1 with cipher RC4-SHA (128/128 bits))\r
  20         (No client certificate requested)\r
  21         by olra.theworths.org (Postfix) with ESMTPS id A0F59431FB6\r
  22         for <notmuch@notmuchmail.org>; Tue, 12 Jul 2011 17:50:57 -0700 (PDT)\r
  23 Received: by qwb7 with SMTP id 7so3054895qwb.26\r
  24         for <notmuch@notmuchmail.org>; Tue, 12 Jul 2011 17:50:56 -0700 (PDT)\r
  25 DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=gamma;\r
  26         h=mime-version:sender:in-reply-to:references:date\r
  27         :x-google-sender-auth:message-id:subject:from:to:content-type\r
  28         :content-transfer-encoding;\r
  29         bh=K5E2QPFqIZgohA2viOVZ7CZLnksh7qEXY78OrQ9WLMk=;\r
  30         b=SYnr58Z2TiG0uboP6OUZzcXbiOY/XNeGh0i9unOLdzzsyFZCgXK5K85FXFEyx2cqJm\r
  31         y+Ad40Rf/qheDUSJf5v3xX87b5jPkqDfv1Y5zQkPP9ftiqHx2qVMZnGvaUNLW1twIM4+\r
  32         5BQEROR80c7kB2in8CFZfvE70t1b0D+lFiGXc=\r
  33 MIME-Version: 1.0\r
  34 Received: by 10.229.27.198 with SMTP id j6mr532418qcc.10.1310518256595; Tue,\r
  35         12 Jul 2011 17:50:56 -0700 (PDT)\r
  36 Sender: amdragon@gmail.com\r
  37 Received: by 10.229.250.208 with HTTP; Tue, 12 Jul 2011 17:50:56 -0700 (PDT)\r
  38 In-Reply-To: <20110712202459.GB15019@compy.jasonwoof.org>\r
  39 References: <20110711190721.GA5386@compy.jasonwoof.org>\r
  40         <CAH-f9WtBHJ8bL6eWoSNrTs=jkrOYYCuWEVVPDUt_iCw0dKcZbw@mail.gmail.com>\r
  41         <20110712202459.GB15019@compy.jasonwoof.org>\r
  42 Date: Tue, 12 Jul 2011 20:50:56 -0400\r
  43 X-Google-Sender-Auth: UF0gPpNDCnJMCUT51sBg55C8MhY\r
  44 Message-ID:\r
  45  <CAH-f9WujE8s3DK1PyDGf3kdWLx2qvPx=dp7WZ-z_v8prqauvug@mail.gmail.com>\r
  46 Subject: Re: Slowness (search opens every email file?)\r
  47 From: Austin Clements <amdragon@mit.edu>\r
  48 To: Notmuch Mail <notmuch@notmuchmail.org>, Istvan Marko <notmuch@kismala.com>\r
  49 Content-Type: text/plain; charset=ISO-8859-1\r
  50 Content-Transfer-Encoding: quoted-printable\r
  51 X-BeenThere: notmuch@notmuchmail.org\r
  52 X-Mailman-Version: 2.1.13\r
  53 Precedence: list\r
  54 List-Id: "Use and development of the notmuch mail system."\r
  55         <notmuch.notmuchmail.org>\r
  56 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  57         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  58 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  59 List-Post: <mailto:notmuch@notmuchmail.org>\r
  60 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  61 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  62         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  63 X-List-Received-Date: Wed, 13 Jul 2011 00:51:00 -0000\r
  64 \r
  65 On Tue, Jul 12, 2011 at 4:24 PM, Jason Woofenden <jason@jasonwoof.com> wrot=\r
  66 e:\r
  67 > On 2011-07-11 06:13PM, Austin Clements wrote:\r
  68 >> On Mon, Jul 11, 2011 at 3:07 PM, Jason Woofenden <jason@jasonwoof.com> w=\r
  69 rote:\r
  70 >> > notmuch search tag:foo is slow!\r
  71 >> >\r
  72 >> > (when my e-mail files are not already in the disk cache)\r
  73 >> >\r
  74 >> > I saw on my activity monitor applet that it was using mostly i/o,\r
  75 >> > and started to wonder if it was opening every e-mail. I little work\r
  76 >> > with strace and searching revealed that this command was opening\r
  77 >> > many many e-mail files from my maildir(s). I spent a little while\r
  78 >> > digging around in the notmuch source, and didn't see where it was\r
  79 >> > opening the email files.\r
  80 >>\r
  81 >> It is opening every file to get a few headers to display in the search\r
  82 >> output. =A0Istvan Marko sent an experimental patch to store these\r
  83 >> headers in the database a while ago, though as far as I know there\r
  84 >> hasn't been any progress cleaning it up for inclusion:\r
  85 >> id:"m3sjsv2kw2.fsf@zsu.kismala.com" .\r
  86 >\r
  87 > Cool. I suspected it was reading for header files.\r
  88 >\r
  89 > I googled the id and found this patchwork link:\r
  90 >\r
  91 > http://patchwork.notmuchmail.org/patch/947/\r
  92 >\r
  93 > (I didn't see any way to ask mailman for a message id.)\r
  94 \r
  95 Here's the full thread from Nabble:\r
  96 http://notmuch.198994.n3.nabble.com/storing-From-and-Subject-in-xapian-td29=\r
  97 01262.html\r
  98 \r
  99 > Does someone want to work at this soon or should I try my hand at\r
 100 > it?\r
 101 \r
 102 Istvan, did you make any progress on this patch since the last\r
 103 version?  I seem to recall it just needed general cleanup (code style\r
 104 and such) and a better answer for backwards compatibility (the\r
 105 unfortunate " " thing).\r