3b/e41e9594be4242e023ea66912aed80a974e077

   1 Return-Path: <cworth@cworth.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 2A54D431FC0;\r
   6         Thu, 26 Nov 2009 11:16:36 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 Received: from olra.theworths.org ([127.0.0.1])\r
   9         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  10         with ESMTP id uJd6VDxNokqE; Thu, 26 Nov 2009 11:16:35 -0800 (PST)\r
  11 Received: from cworth.org (localhost [127.0.0.1])\r
  12         by olra.theworths.org (Postfix) with ESMTP id 72CD9431FAE;\r
  13         Thu, 26 Nov 2009 11:16:35 -0800 (PST)\r
  14 From: Carl Worth <cworth@cworth.org>\r
  15 To: Dominik Epple <dominik.epple@googlemail.com>\r
  16 In-Reply-To: <87y6ltqg2p.fsf@yoom.home.cworth.org>\r
  17 References: <123554aa0911200056h73def158pb0db64a2a78ed687@mail.gmail.com>\r
  18         <87skc8oqyn.fsf@yoom.home.cworth.org>\r
  19         <123554aa0911230826o11e54d5ckc90e5ae8dab6ffd3@mail.gmail.com>\r
  20         <123554aa0911250139l907c4efs60d704dae962c473@mail.gmail.com>\r
  21         <87y6ltqg2p.fsf@yoom.home.cworth.org>\r
  22 Date: Thu, 26 Nov 2009 11:16:21 -0800\r
  23 Message-ID: <87vdgxqepm.fsf@yoom.home.cworth.org>\r
  24 MIME-Version: 1.0\r
  25 Content-Type: text/plain; charset=us-ascii\r
  26 Cc: notmuch@notmuchmail.org\r
  27 Subject: Re: [notmuch] notmuch new: Memory problem\r
  28 X-BeenThere: notmuch@notmuchmail.org\r
  29 X-Mailman-Version: 2.1.12\r
  30 Precedence: list\r
  31 List-Id: "Use and development of the notmuch mail system."\r
  32         <notmuch.notmuchmail.org>\r
  33 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  34         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  35 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  36 List-Post: <mailto:notmuch@notmuchmail.org>\r
  37 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  38 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  39         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  40 X-List-Received-Date: Thu, 26 Nov 2009 19:16:36 -0000\r
  41 \r
  42 On Thu, 26 Nov 2009 10:46:54 -0800, Carl Worth <cworth@cworth.org> wrote:\r
  43 > So perhaps the new configuration option we want is a limit on message\r
  44 > size? Rather than ignoring large files entirely, notmuch could just stop\r
  45 > indexing messages past the configured limit?\r
  46 \r
  47 Having just written that, I don't think it's actually an interesting\r
  48 option.\r
  49 \r
  50 Instead of working around the bug, we should just find out what the bug\r
  51 actually is. It could be that Xapian's TermGenerator is just going nuts\r
  52 here. Or it could be that Xapian is just trying to hold too much data in\r
  53 memory instead of flushing it out to disk.\r
  54 \r
  55 Currently, notmuch doesn't ever call any explicit Xapian flush. Instead,\r
  56 we rely on the default behavior which is that Xapian will flush to disk\r
  57 after every batch of 10000 documents added. So it's possible that all\r
  58 that's actually needed here is for notmuch to notice that it just\r
  59 indexed a huge file, and then explicitly flush to avoid Xapian using too\r
  60 much memory. Or, perhaps better, Xapian could be fixed to automatically\r
  61 flush if its memory usages gets "too big", (if the missing flush is\r
  62 actually what's needed here).\r
  63 \r
  64 Clearly, some experimenting is needed. Dominik, if you can share the\r
  65 large file, (with either me alone or with the whole list), a pointer to\r
  66 where we could download it would be appreciated.\r
  67 \r
  68 -Carl\r