64/835bdf3b02d6ecd3c51ae494b5f488bd09a29f

   1 Return-Path: <edward@4angle.com>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5  by arlo.cworth.org (Postfix) with ESMTP id 49C5F6DE00F1\r
   6  for <notmuch@notmuchmail.org>; Thu, 24 Mar 2016 03:40:47 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at cworth.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -1.083\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-1.083 tagged_above=-999 required=5\r
  12  tests=[AWL=-1.073, T_RP_MATCHES_RCVD=-0.01] autolearn=disabled\r
  13 Received: from arlo.cworth.org ([127.0.0.1])\r
  14  by localhost (arlo.cworth.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15  with ESMTP id kMPWFhRXwnlV for <notmuch@notmuchmail.org>;\r
  16  Thu, 24 Mar 2016 03:40:38 -0700 (PDT)\r
  17 Received: from 4angle.com (4angle.com [82.145.46.9])\r
  18  by arlo.cworth.org (Postfix) with ESMTPS id B56036DE0005\r
  19  for <notmuch@notmuchmail.org>; Thu, 24 Mar 2016 03:40:38 -0700 (PDT)\r
  20 Received: from cpc91242-cmbg18-2-0-cust1730.5-4.cable.virginm.net\r
  21  ([82.8.134.195] helo=x230)\r
  22  by 4angle.com with esmtpsa (TLS1.2:ECDHE_RSA_AES_128_GCM_SHA256:128)\r
  23  (Exim 4.86) (envelope-from <edward@4angle.com>) id 1aj2gr-0008Bj-QV\r
  24  for notmuch@notmuchmail.org; Thu, 24 Mar 2016 10:40:33 +0000\r
  25 Received: from edward by x230 with local (Exim 4.87)\r
  26  (envelope-from <edward@x230>) id 1aj2gr-0006sc-8s\r
  27  for notmuch@notmuchmail.org; Thu, 24 Mar 2016 10:40:33 +0000\r
  28 Date: Thu, 24 Mar 2016 10:40:33 +0000\r
  29 From: Edward Betts <edward@4angle.com>\r
  30 To: notmuch@notmuchmail.org\r
  31 Subject: FastMail uses xapian for real time search, can we do the same?\r
  32 Message-ID: <20160324104033.GA23082@4angle.com>\r
  33 MIME-Version: 1.0\r
  34 Content-Type: text/plain; charset=us-ascii\r
  35 Content-Disposition: inline\r
  36 User-Agent: Mutt/1.5.24 (2015-08-30)\r
  37 X-BeenThere: notmuch@notmuchmail.org\r
  38 X-Mailman-Version: 2.1.20\r
  39 Precedence: list\r
  40 List-Id: "Use and development of the notmuch mail system."\r
  41  <notmuch.notmuchmail.org>\r
  42 List-Unsubscribe: <https://notmuchmail.org/mailman/options/notmuch>,\r
  43  <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  44 List-Archive: <http://notmuchmail.org/pipermail/notmuch/>\r
  45 List-Post: <mailto:notmuch@notmuchmail.org>\r
  46 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  47 List-Subscribe: <https://notmuchmail.org/mailman/listinfo/notmuch>,\r
  48  <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  49 X-List-Received-Date: Thu, 24 Mar 2016 10:40:47 -0000\r
  50 \r
  51 I've tried using 'notmuch insert' with mutt-kz, the mutt fork that talks to\r
  52 the notmuch database. Both keep trying to grab the write lock at the same time.\r
  53 \r
  54 I tag a mail in mutt-kz and it writes the new tag to the database, at the same\r
  55 time a new mail is coming in. Either 'notmuch insert' has the lock and\r
  56 my mail client pauses while it retries or notmuch-insert isn't able to get the\r
  57 write lock and just saves the mail to the maildir and it doesn't get added\r
  58 until I later run 'notmuch new'.\r
  59 \r
  60 I guess many people here are using the Emacs client and the problem is partly\r
  61 avoided because there is a separate thread in the background trying to grab\r
  62 the write lock and save tag changes. Is that correct?\r
  63 \r
  64 I wonder if the solution is real time search? xapian can search in multiple\r
  65 databases. New mails and tag changes can be written to a new database, there\r
  66 could be one database for inserting new mails and another for changes to the\r
  67 tags on existing mails. Then there are no problems with write locks. These\r
  68 databases will be much smaller, so the writes should be faster. There can be a\r
  69 process that runs once a day to merge the databases.\r
  70 \r
  71 FastMail have implemented real time search for email with xapian.\r
  72 \r
  73 Blog post: https://blog.fastmail.com/2014/12/01/email-search-system/\r
  74 \r
  75 Implementation: https://github.com/brong/cyrus-imapd/tree/fastmail\r
  76 \r
  77 Is there any enthusiasm for adding real time search to notmuch?\r
  78 -- \r
  79 Edward.\r