4e/0f8ea7e44f52d029754a992b47690492130132

   1 Return-Path: <jani@nikula.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id E25FB429E21\r
   6         for <notmuch@notmuchmail.org>; Sun,  6 Nov 2011 14:30:08 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.7\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
  12         tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id UAdSoxWlDEYy for <notmuch@notmuchmail.org>;\r
  16         Sun,  6 Nov 2011 14:30:07 -0800 (PST)\r
  17 Received: from mail-fx0-f53.google.com (mail-fx0-f53.google.com\r
  18         [209.85.161.53]) (using TLSv1 with cipher RC4-SHA (128/128 bits))\r
  19         (No client certificate requested)\r
  20         by olra.theworths.org (Postfix) with ESMTPS id 05E43431FB6\r
  21         for <notmuch@notmuchmail.org>; Sun,  6 Nov 2011 14:30:06 -0800 (PST)\r
  22 Received: by faan15 with SMTP id n15so1784925faa.26\r
  23         for <notmuch@notmuchmail.org>; Sun, 06 Nov 2011 14:30:05 -0800 (PST)\r
  24 Received: by 10.223.61.131 with SMTP id t3mr13737950fah.26.1320618605753;\r
  25         Sun, 06 Nov 2011 14:30:05 -0800 (PST)\r
  26 Received: from localhost (dsl-hkibrasgw4-fe5cdc00-23.dhcp.inet.fi.\r
  27         [80.220.92.23])\r
  28         by mx.google.com with ESMTPS id w11sm28669430fad.7.2011.11.06.14.30.03\r
  29         (version=SSLv3 cipher=OTHER); Sun, 06 Nov 2011 14:30:04 -0800 (PST)\r
  30 From: Jani Nikula <jani@nikula.org>\r
  31 To: Austin Clements <amdragon@mit.edu>\r
  32 Subject: Re: [PATCH] Store "from" and "subject" headers in the database.\r
  33 In-Reply-To:\r
  34  <CAH-f9WufXM30kZsU31RDheOSvHoOkrLh=vAh_jiqSkJfz=Lw8g@mail.gmail.com>\r
  35 References: <1320599856-24078-1-git-send-email-amdragon@mit.edu>\r
  36         <87k47dt0wo.fsf@nikula.org>\r
  37         <CAH-f9WufXM30kZsU31RDheOSvHoOkrLh=vAh_jiqSkJfz=Lw8g@mail.gmail.com>\r
  38 User-Agent: Notmuch/0.9+47~gda5693d (http://notmuchmail.org) Emacs/23.3.1\r
  39         (i686-pc-linux-gnu)\r
  40 Date: Mon, 07 Nov 2011 00:30:01 +0200\r
  41 Message-ID: <87hb2gubo6.fsf@nikula.org>\r
  42 MIME-Version: 1.0\r
  43 Content-Type: text/plain; charset=utf-8\r
  44 Content-Transfer-Encoding: quoted-printable\r
  45 Cc: notmuch@notmuchmail.org, notmuch@kismala.com\r
  46 X-BeenThere: notmuch@notmuchmail.org\r
  47 X-Mailman-Version: 2.1.13\r
  48 Precedence: list\r
  49 List-Id: "Use and development of the notmuch mail system."\r
  50         <notmuch.notmuchmail.org>\r
  51 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  52         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  53 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  54 List-Post: <mailto:notmuch@notmuchmail.org>\r
  55 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  56 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  57         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  58 X-List-Received-Date: Sun, 06 Nov 2011 22:30:09 -0000\r
  59 \r
  60 On Sun, 6 Nov 2011 17:01:14 -0500, Austin Clements <amdragon@mit.edu> wrote:\r
  61 > On Sun, Nov 6, 2011 at 4:07 PM, Jani Nikula <jani@nikula.org> wrote:\r
  62 > > On Sun, =C2=A06 Nov 2011 12:17:36 -0500, Austin Clements <amdragon@MIT.=\r
  63 EDU> wrote:\r
  64 > >> Taking full advantage of this requires a database rebuild, but it will\r
  65 > >> fall back to the old behavior for messages that do not have headers\r
  66 > >> stored in the database.\r
  67 > >\r
  68 > > ...what's the most convenient way of rebuilding the database while\r
  69 > > preserving my tags etc.? If this was merged, would an older version of\r
  70 > > notmuch choke on the rebuilt database with these headers? (To me it\r
  71 > > looks like it would be fine.)\r
  72 >=20\r
  73 > The standard way to rebuild the database is to do a notmuch dump, move\r
  74 > .notmuch out of the way, notmuch new, then notmuch restore.  Some day\r
  75 > this process should be made automatic.\r
  76 >=20\r
  77 > Old versions of notmuch will be blissfully unaware of the new headers\r
  78 > stored in the database.  They can even safely add messages to an\r
  79 > upgraded database without breaking new versions of notmuch.\r
  80 \r
  81 Hi, I ran a quick test with/without the patch. I don't have much mail,\r
  82 but on my aging laptop the performance increase is significant. See\r
  83 below. 'du -h' on the .notmuch dir increased from 82M to 83M with the\r
  84 patch, IMHO well worth it.\r
  85 \r
  86 \r
  87 BR,\r
  88 Jani.\r
  89 \r
  90 \r
  91 WITHOUT THE PATCH:\r
  92 \r
  93 $ sudo bash -c "/bin/sync; /bin/echo 3 > /proc/sys/vm/drop_caches"\r
  94 $ time notmuch search "*" | wc -l\r
  95 8167\r
  96 \r
  97 real    0m43.216s\r
  98 user    0m3.860s\r
  99 sys     0m2.268s\r
 100 $ time notmuch search "*" | wc -l\r
 101 8167\r
 102 \r
 103 real    0m2.762s\r
 104 user    0m2.196s\r
 105 sys     0m0.564s\r
 106 \r
 107 WITH THE PATCH:\r
 108 \r
 109 $ sudo bash -c "/bin/sync; /bin/echo 3 > /proc/sys/vm/drop_caches"\r
 110 $ time notmuch search "*" | wc -l\r
 111 8167\r
 112 \r
 113 real    0m8.019s\r
 114 user    0m2.088s\r
 115 sys     0m0.720s\r
 116 $ time notmuch search "*" | wc -l\r
 117 8167\r
 118 \r
 119 real    0m2.033s\r
 120 user    0m1.592s\r
 121 sys     0m0.440s\r