cf/06f6b82775ef5fce4f212ae68864ccbae0605e

   1 Return-Path: <pieter@praet.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 8AC9E429E21\r
   6         for <notmuch@notmuchmail.org>; Tue, 15 Nov 2011 08:46:15 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.7\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
  12         tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id ztKYTNr6+rCy for <notmuch@notmuchmail.org>;\r
  16         Tue, 15 Nov 2011 08:46:11 -0800 (PST)\r
  17 Received: from mail-ww0-f45.google.com (mail-ww0-f45.google.com\r
  18  [74.125.82.45])        (using TLSv1 with cipher RC4-SHA (128/128 bits))        (No client\r
  19  certificate requested) by olra.theworths.org (Postfix) with ESMTPS id\r
  20  E2D42431FB6    for <notmuch@notmuchmail.org>; Tue, 15 Nov 2011 08:46:10 -0800\r
  21  (PST)\r
  22 Received: by wwf10 with SMTP id 10so6201379wwf.2\r
  23         for <notmuch@notmuchmail.org>; Tue, 15 Nov 2011 08:46:09 -0800 (PST)\r
  24 Received: by 10.181.12.39 with SMTP id en7mr30989268wid.40.1321375568962;\r
  25         Tue, 15 Nov 2011 08:46:08 -0800 (PST)\r
  26 Received: from localhost ([109.131.148.49])\r
  27         by mx.google.com with ESMTPS id i8sm14689564wie.11.2011.11.15.08.46.07\r
  28         (version=TLSv1/SSLv3 cipher=OTHER);\r
  29         Tue, 15 Nov 2011 08:46:07 -0800 (PST)\r
  30 From: Pieter Praet <pieter@praet.org>\r
  31 To: Austin Clements <amdragon@MIT.EDU>\r
  32 Subject: Re: [PATCH] emacs: Use a single buffer invisibility spec to fix\r
  33         quadratic search cost.\r
  34 In-Reply-To: <20111111045341.GS2658@mit.edu>\r
  35 References: <1320807328-13728-1-git-send-email-amdragon@mit.edu>\r
  36         <877h382jax.fsf@SSpaeth.de>\r
  37         <CAPFwwQgsqe2NE9vm2RJHHK+8hWR_uMWKLHcxm0xkjduFboAfPw@mail.gmail.com>\r
  38         <87d3czxsu9.fsf@praet.org> <20111111045341.GS2658@mit.edu>\r
  39 User-Agent: Notmuch/0.9+76~g2fd88e6 (http://notmuchmail.org) Emacs/23.3.1\r
  40         (x86_64-unknown-linux-gnu)\r
  41 Date: Tue, 15 Nov 2011 17:45:10 +0100\r
  42 Message-ID: <87fwhpjpwp.fsf@praet.org>\r
  43 MIME-Version: 1.0\r
  44 Content-Type: text/plain; charset=utf-8\r
  45 Content-Transfer-Encoding: quoted-printable\r
  46 Cc: notmuch@notmuchmail.org, servilio <servilio@gmail.com>\r
  47 X-BeenThere: notmuch@notmuchmail.org\r
  48 X-Mailman-Version: 2.1.13\r
  49 Precedence: list\r
  50 List-Id: "Use and development of the notmuch mail system."\r
  51         <notmuch.notmuchmail.org>\r
  52 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  53         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  54 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  55 List-Post: <mailto:notmuch@notmuchmail.org>\r
  56 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  57 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  58         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  59 X-List-Received-Date: Tue, 15 Nov 2011 16:46:15 -0000\r
  60 \r
  61 On Thu, 10 Nov 2011 23:53:41 -0500, Austin Clements <amdragon@MIT.EDU> wrot=\r
  62 e:\r
  63 > Quoth Pieter Praet on Nov 11 at  4:04 am:\r
  64 > > On Thu, 10 Nov 2011 14:22:30 -0500, servilio <servilio@gmail.com> wrote:\r
  65 > > > On 10 November 2011 08:33, Sebastian Spaeth <Sebastian@sspaeth.de> wr=\r
  66 ote:\r
  67 > > > > On Tue, =C2=A08 Nov 2011 21:55:28 -0500, Austin Clements <amdragon@=\r
  68 MIT.EDU> wrote:\r
  69 > > > >> =C2=A0emacs/notmuch.el | =C2=A0 11 +++--------\r
  70 > > > >> =C2=A01 files changed, 3 insertions(+), 8 deletions(-)\r
  71 > > > >\r
  72 > > > >\r
  73 > > > > Tested and works great here! +1 for quick inclusion.\r
  74 > > >=20\r
  75 > > > I join the petition, I have been using for a couple of days and the\r
  76 > > > difference is noticeable.\r
  77 > > >=20\r
  78 > >=20\r
  79 > > Subjectively, I'm not seeing any difference, but that may be due to a\r
  80 > > relatively recent machine, and Austin's recent rebase [1] of Istvan's\r
  81 > > database patch [2] no doubt makes a huge difference as well.\r
  82 >=20\r
  83 > How many results?  Since it's eliminating a quadratic factor, this\r
  84 > only affects large search result buffers (and only once they grow\r
  85 > large; the beginning of the buffer will come in just as quickly with\r
  86 > or without this).\r
  87 >=20\r
  88 \r
  89 About the same as with my review [1] of the database patch [2], so ~9540.\r
  90 \r
  91 > > I've tried getting some hard numbers using\r
  92 > >=20\r
  93 > >   #+begin_src sh\r
  94 > >     time emacs --eval '(progn\r
  95 > >         (notmuch)\r
  96 > >         (notmuch-search "*")\r
  97 > >         (while (get-buffer-process (current-buffer))\r
  98 > >             (sleep-for 0.1))\r
  99 > >         (kill-emacs))'\r
 100 > >   #+end_src\r
 101 > >=20\r
 102 > > ... but the results vary wildly on subsequent runs.\r
 103 >=20\r
 104 > For me, this doesn't actually display the results buffer (though I\r
 105 > don't know why not), which means it won't test this, since the problem\r
 106 > lies in the Emacs redisplay logic.  However, I think it does yield a\r
 107 > baseline of how long it takes to construct the buffer without\r
 108 > displaying it.  This is interesting because, while this patch does not\r
 109 > achieve this baseline time, this patch combined with another one I\r
 110 > have waiting in the wings, does.\r
 111 >=20\r
 112 \r
 113 That's it!  I've been running the test unattended, so I failed to notice\r
 114 that the results buffer isn't always displayed (i.e. sometimes it is,\r
 115 causing the test to take quite a bit longer).\r
 116 \r
 117 > > How would one go about getting stable results?\r
 118 >=20\r
 119 > The results are quite stable for me, both timing it manually and using\r
 120 > the command you gave above.  The only non-obvious thing that comes to\r
 121 > mind is that you're probably testing on multiple cores, in which case\r
 122 > the kernel scheduler could introduce a lot of noise.  You could try\r
 123 > running numactl -C 0 emacs ... to see if there's any merit to this\r
 124 > theory.\r
 125 \r
 126 Hmm, numactl isn't available on my system;\r
 127 \r
 128 I seem to have only a single node @ '/sys/devices/system/node/', and\r
 129 both cpu0 and cpu1 @ '/sys/devices/system/cpu/' contain a symlink to\r
 130 'node0'.\r
 131 \r
 132 I'm guessing my kernel lacks support for NUMA policy?\r
 133 \r
 134 Either way, this works:\r
 135   echo 0 > /sys/devices/system/cpu/cpu1/online\r
 136 \r
 137 \r
 138 Peace\r
 139 \r
 140 --=20\r
 141 Pieter\r
 142 \r
 143 [1] id:"87obwjtpcd.fsf@praet.org"\r
 144 [2] id:"1320599856-24078-1-git-send-email-amdragon@mit.edu"\r