17/bd6bfa2db8588971808f5f5abcc2652bcd0fd3

   1 Return-Path: <Sebastian@SSpaeth.de>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 8A3834196F2\r
   6         for <notmuch@notmuchmail.org>; Mon, 12 Apr 2010 06:33:43 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.5\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.5 tagged_above=-999 required=5\r
  12         tests=[BAYES_05=-0.5] autolearn=ham\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id CxwnwRjthB8q for <notmuch@notmuchmail.org>;\r
  16         Mon, 12 Apr 2010 06:33:42 -0700 (PDT)\r
  17 Received: from homiemail-a21.g.dreamhost.com (caiajhbdcbbj.dreamhost.com\r
  18         [208.97.132.119])\r
  19         by olra.theworths.org (Postfix) with ESMTP id D230D431FC1\r
  20         for <notmuch@notmuchmail.org>; Mon, 12 Apr 2010 06:33:42 -0700 (PDT)\r
  21 Received: from sspaeth.de (mtec-hg-docking-1-dhcp-204.ethz.ch\r
  22         [129.132.133.204])\r
  23         by homiemail-a21.g.dreamhost.com (Postfix) with ESMTPA id 8068C300074\r
  24         for <notmuch@notmuchmail.org>; Mon, 12 Apr 2010 06:33:39 -0700 (PDT)\r
  25 Received: by sspaeth.de (sSMTP sendmail emulation);\r
  26         Mon, 12 Apr 2010 15:33:35 +0200\r
  27 From: "Sebastian Spaeth" <Sebastian@SSpaeth.de>\r
  28 To: "Notmuch list" <notmuch@notmuchmail.org>\r
  29 Subject: please eat my data!\r
  30 Date: Mon, 12 Apr 2010 15:33:35 +0200\r
  31 Message-ID: <87633wlrrk.fsf@SSpaeth.de>\r
  32 User-Agent: notmuch version 0.1.1 (Emacs 23.1.1/x86_64-pc-linux-gnu)\r
  33 MIME-Version: 1.0\r
  34 Content-Type: text/plain; charset=us-ascii\r
  35 X-BeenThere: notmuch@notmuchmail.org\r
  36 X-Mailman-Version: 2.1.13\r
  37 Precedence: list\r
  38 List-Id: "Use and development of the notmuch mail system."\r
  39         <notmuch.notmuchmail.org>\r
  40 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  41         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  42 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  43 List-Post: <mailto:notmuch@notmuchmail.org>\r
  44 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  45 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  46         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  47 X-List-Received-Date: Mon, 12 Apr 2010 13:33:43 -0000\r
  48 \r
  49 fsync is really killing xapian (and notmuch). What suffers, are the\r
  50 boolean prefixes (tag, id, and thread). Using libeatmydata (which\r
  51 disables fsync) shows a 10x speedup for tagging. The speedup is only\r
  52 factor 2 for e.g. from: searches. This is ext4 on recent stock\r
  53 Ubuntu. Given that search by tag and thread are performed really often\r
  54 (each time I advance a thread, for example), that really hurts.\r
  55 \r
  56 With a warm file cache and a thread containing 11 messages:\r
  57 \r
  58 ---------------------------------------------------\r
  59 time notmuch tag +test -- thread:0000000000000f4e\r
  60 real    0m0.677s\r
  61 user    0m0.030s\r
  62 sys     0m0.020s\r
  63 ---------------------------------------------------\r
  64 time LD_PRELOAD=./libeatmydata.so notmuch tag +test -- thread:0000000000000f4e\r
  65 \r
  66 real    0m0.040s\r
  67 user    0m0.020s\r
  68 sys     0m0.020s\r
  69 ---------------------------------------------------\r
  70 \r
  71 However tagging ~850 messages based on a from search is "ONLY" factor 2:\r
  72 ------------------------------------------------------\r
  73 time notmuch tag +test -- from:"sebastian@sspaeth.de"\r
  74 \r
  75 real    0m2.355s\r
  76 user    0m1.240s\r
  77 sys     0m0.040s\r
  78 ---------------------------------------------------\r
  79 time LD_PRELOAD=./libeatmydata.so notmuch tag +test -- from:"sebastian@sspaeth.de"\r
  80 \r
  81 real    0m1.286s\r
  82 user    0m1.230s\r
  83 sys     0m0.010s\r
  84 ---------------------------------------------------\r