90/289c305231fc0720668f8aa5fb2ab4851cd985

   1 Return-Path: <david@tethera.net>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5  by arlo.cworth.org (Postfix) with ESMTP id 1D3B66DE0130\r
   6  for <notmuch@notmuchmail.org>; Thu,  7 Apr 2016 04:57:00 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at cworth.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.02\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.02 tagged_above=-999 required=5 tests=[AWL=-0.009,\r
  12   SPF_PASS=-0.001, T_RP_MATCHES_RCVD=-0.01] autolearn=disabled\r
  13 Received: from arlo.cworth.org ([127.0.0.1])\r
  14  by localhost (arlo.cworth.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15  with ESMTP id CHXTUKvdyGcA for <notmuch@notmuchmail.org>;\r
  16  Thu,  7 Apr 2016 04:56:51 -0700 (PDT)\r
  17 Received: from fethera.tethera.net (fethera.tethera.net [198.245.60.197])\r
  18  by arlo.cworth.org (Postfix) with ESMTPS id BDCA16DE009B\r
  19  for <notmuch@notmuchmail.org>; Thu,  7 Apr 2016 04:56:51 -0700 (PDT)\r
  20 Received: from remotemail by fethera.tethera.net with local (Exim 4.84)\r
  21  (envelope-from <david@tethera.net>)\r
  22  id 1ao8YT-0007RD-Ul; Thu, 07 Apr 2016 07:56:57 -0400\r
  23 Received: (nullmailer pid 4825 invoked by uid 1000);\r
  24  Thu, 07 Apr 2016 11:56:46 -0000\r
  25 From: David Bremner <david@tethera.net>\r
  26 To: notmuch@notmuchmail.org, xapian-discuss@lists.xapian.org\r
  27 Subject: slowdown in notmuch perf suite with xapian 1.3.5\r
  28 User-Agent: Notmuch/0.21+99~gd93d377 (http://notmuchmail.org) Emacs/24.5.1\r
  29  (x86_64-pc-linux-gnu)\r
  30 Date: Thu, 07 Apr 2016 08:56:46 -0300\r
  31 Message-ID: <87twjd639d.fsf@zancas.localnet>\r
  32 MIME-Version: 1.0\r
  33 Content-Type: text/plain\r
  34 X-BeenThere: notmuch@notmuchmail.org\r
  35 X-Mailman-Version: 2.1.20\r
  36 Precedence: list\r
  37 List-Id: "Use and development of the notmuch mail system."\r
  38  <notmuch.notmuchmail.org>\r
  39 List-Unsubscribe: <https://notmuchmail.org/mailman/options/notmuch>,\r
  40  <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  41 List-Archive: <http://notmuchmail.org/pipermail/notmuch/>\r
  42 List-Post: <mailto:notmuch@notmuchmail.org>\r
  43 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  44 List-Subscribe: <https://notmuchmail.org/mailman/listinfo/notmuch>,\r
  45  <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  46 X-List-Received-Date: Thu, 07 Apr 2016 11:57:00 -0000\r
  47 \r
  48 \r
  49 I hadn't noticed any interactive slowdown, but when I got around to\r
  50 running the notmuch performance suite, there seems to be some noticable\r
  51 slowdown with the glass backend (default in Xapian 1.3.5) compared to\r
  52 chert (using xapian 1.2.22)\r
  53 \r
  54 These tests are on an older i7 with 12G of RAM and an SSD. I'm\r
  55 reasonable confident they are CPU bound. One curious thing is the\r
  56 increase in system time in the glass case. It also looks like the glass\r
  57 backend is doing a lot more I/O, which could be related.\r
  58 \r
  59 The current notmuch performance corpus has about 200k documents,\r
  60 totalling about 3.5G. Unfortunately each number here represents only a\r
  61 single run. I did rerun the tests with the glass backend, and the\r
  62 variation was reasonably small.\r
  63 \r
  64 Chert\r
  65 =====\r
  66 \r
  67 T00-new.sh: Testing notmuch new                         [0.4 large]\r
  68                         Wall(s) Usr(s)  Sys(s)  Res(K)  In/Out(512B)\r
  69   Initial notmuch new   669.06  639.78  21.42   323684  3576/9360440\r
  70   notmuch new #2        0.46    0.00    0.00    8240    3568/200\r
  71   notmuch new #3        0.01    0.00    0.00    7916    0/8\r
  72   notmuch new #4        0.01    0.01    0.00    8008    0/8\r
  73   notmuch new #5        0.01    0.00    0.00    8040    0/8\r
  74   notmuch new #6        0.01    0.00    0.00    8040    0/8\r
  75 \r
  76 T01-dump-restore.sh: Testing dump and restore           [0.4 large]\r
  77                         Wall(s) Usr(s)  Sys(s)  Res(K)  In/Out(512B)\r
  78   load nmbug tags       5.85    2.64    0.10    11280   1376/40496\r
  79   dump *                7.45    6.51    0.94    25272   104/27928\r
  80   restore *             7.55    7.15    0.39    8180    0/0\r
  81 \r
  82 T02-tag.sh: Testing tagging                             [0.4 large]\r
  83                         Wall(s) Usr(s)  Sys(s)  Res(K)  In/Out(512B)\r
  84   tag * +new_tag        200.13  183.01  7.08    38628   264/1664552\r
  85   tag * +existing_tag   0.00    0.00    0.00    8356    0/0\r
  86   tag * -existing_tag   153.47  145.00  4.02    34928   0/1626320\r
  87   tag * -missing_tag    0.00    0.00    0.00    8252    0/0\r
  88 \r
  89 Glass\r
  90 =====\r
  91 \r
  92 T00-new.sh: Testing notmuch new                         [0.4 large]\r
  93                         Wall(s) Usr(s)  Sys(s)  Res(K)  In/Out(512B)\r
  94   Initial notmuch new   949.53  697.05  206.98  277436  1290744/21767856\r
  95   notmuch new #2        2.12    0.01    0.02    8204    2552/160\r
  96   notmuch new #3        0.01    0.00    0.00    8216    0/8\r
  97   notmuch new #4        0.01    0.00    0.00    8192    0/8\r
  98   notmuch new #5        0.01    0.00    0.00    8216    0/8\r
  99   notmuch new #6        0.01    0.00    0.00    8144    0/8\r
 100 \r
 101 T01-dump-restore.sh: Testing dump and restore           [0.4 large]\r
 102                         Wall(s) Usr(s)  Sys(s)  Res(K)  In/Out(512B)\r
 103   load nmbug tags       10.78   4.06    3.59    11376   600/39832\r
 104   dump *                7.44    6.52    0.91    25296   0/27928\r
 105   restore *             7.74    7.24    0.48    8740    0/0\r
 106 \r
 107 T02-tag.sh: Testing tagging                             [0.4 large]\r
 108                         Wall(s) Usr(s)  Sys(s)  Res(K)  In/Out(512B)\r
 109   tag * +new_tag        481.78  278.80  196.89  39448   0/1897360\r
 110   tag * +existing_tag   0.00    0.00    0.00    8496    0/0\r
 111   tag * -existing_tag   449.58  242.65  202.74  35456   0/2073520\r
 112   tag * -missing_tag    0.00    0.00    0.00    8440    0/0\r
 113 \r
 114 \r