5a/b0e18223949e8e05c7f6116570f96518c6b5da

   1 Return-Path: <pre@ulrik.uio.no>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 3D50F431FD0\r
   6         for <notmuch@notmuchmail.org>; Mon, 21 Nov 2011 14:35:40 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -2.3\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-2.3 tagged_above=-999 required=5\r
  12         tests=[RCVD_IN_DNSWL_MED=-2.3] autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id zE8LyTLv-IVn for <notmuch@notmuchmail.org>;\r
  16         Mon, 21 Nov 2011 14:35:39 -0800 (PST)\r
  17 Received: from mail-out2.uio.no (mail-out2.uio.no [129.240.10.58])\r
  18         (using TLSv1 with cipher DHE-RSA-AES256-SHA (256/256 bits))\r
  19         (No client certificate requested)\r
  20         by olra.theworths.org (Postfix) with ESMTPS id 630E8431FB6\r
  21         for <notmuch@notmuchmail.org>; Mon, 21 Nov 2011 14:35:39 -0800 (PST)\r
  22 Received: from mail-mx4.uio.no ([129.240.10.45])\r
  23         by mail-out2.uio.no with esmtp (Exim 4.75)\r
  24         (envelope-from <pre@ulrik.uio.no>) id 1RScSf-00027O-Lx\r
  25         for notmuch@notmuchmail.org; Mon, 21 Nov 2011 23:35:37 +0100\r
  26 Received: from diskless.uio.no ([129.240.6.26])\r
  27         by mail-mx4.uio.no with esmtp  (Exim 4.76)\r
  28         (envelope-from <pre@ulrik.uio.no>)\r
  29         id 1RScSf-0007Sv-8r; Mon, 21 Nov 2011 23:35:37 +0100\r
  30 Received: from pre by diskless.uio.no with local (Exim 4.72)\r
  31         (envelope-from <pre@ulrik.uio.no>)\r
  32         id 1RScSd-0004aB-RT; Mon, 21 Nov 2011 23:35:35 +0100\r
  33 From: Petter Reinholdtsen <pere@hungry.com>\r
  34 To: notmuch@notmuchmail.org\r
  35 Subject: 'notmuch new' leaking memory and getting slower over time?\r
  36 User-Agent: Notmuch/0.10~rc2 (http://notmuchmail.org) Emacs/23.2.1\r
  37         (i486-pc-linux-gnu)\r
  38 Date: Mon, 21 Nov 2011 23:35:34 +0100\r
  39 Message-ID: <2flfwhht87d.fsf@diskless.uio.no>\r
  40 MIME-Version: 1.0\r
  41 Content-Type: text/plain; charset=us-ascii\r
  42 Sender: Petter Reinholdtsen <petter.reinholdtsen@usit.uio.no>\r
  43 X-UiO-Ratelimit-Test: rcpts/h 4 msgs/h 2 sum rcpts/h 7 sum msgs/h 3 total\r
  44         rcpts 17725 max rcpts/h 383 ratelimit 0\r
  45 X-UiO-Spam-info: not spam, SpamAssassin (score=-7.0, required=5.0,\r
  46         autolearn=disabled, RP_MATCHES_RCVD=-2.023,\r
  47         UIO_MAIL_IS_INTERNAL=-5, uiobl=NO, uiouri=NO)\r
  48 X-UiO-Scanned: C1E0D43C16D4E18FA3AA3F4EF4FCD48C2811D16C\r
  49 X-UiO-SPAM-Test: remote_host: 129.240.6.26 spam_score: -69 maxlevel 80\r
  50         minaction 0 bait 0 mail/h: 3 total 1310 max/h 10 blacklist 0\r
  51         greylist 0 ratelimit 0\r
  52 X-Mailman-Approved-At: Tue, 22 Nov 2011 08:49:56 -0800\r
  53 X-BeenThere: notmuch@notmuchmail.org\r
  54 X-Mailman-Version: 2.1.13\r
  55 Precedence: list\r
  56 List-Id: "Use and development of the notmuch mail system."\r
  57         <notmuch.notmuchmail.org>\r
  58 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  59         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  60 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  61 List-Post: <mailto:notmuch@notmuchmail.org>\r
  62 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  63 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  64         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  65 X-List-Received-Date: Mon, 21 Nov 2011 22:35:40 -0000\r
  66 \r
  67 \r
  68 This weekend up updated my notmuch version to the 0.10 rc2 version\r
  69 available in Debian/unstable, and made a few observations I would like\r
  70 to share.  I rebuilt the source on Debian/Squeeze to get it working for\r
  71 the machine I use to read email, and patched it to get the unsorted dump\r
  72 before building it.  The reason is that my mail store contain slightly\r
  73 more than 1.2 million emails at the moment, and just dumping the tags\r
  74 take hours without the unsorted dump patch.  With the patch it took 40\r
  75 minutes.  After dumping the tags, I moved away the .notmuch index and\r
  76 started reindexing using 'notmuch new'.\r
  77 \r
  78 The indexing took 36 hours.  At the start it claimed it would take 10\r
  79 hours, and it continued to underestimate the amount of time left until\r
  80 the very end.  It claimed to have 1 hour left when I checked before I\r
  81 went to bed, and claimed to have 15 minutes left when I woke up 6-7\r
  82 hours later.\r
  83 \r
  84 Shortly before the indexing finished, the notmuch process was using 1.2\r
  85 GiB of resident memory according to top.  Is the process leaking memory?\r
  86 \r
  87 Running 'notmuch restore' to get my tags back took 106 minutes, and I\r
  88 was very surprised that the restore could not load all the tags stored\r
  89 by 'notmuch dump'.  The restore complained about this line:\r
  90 \r
  91   NO*TELEMAX**NORWAYII  M0018001012307699038 (unread usit year-2002)\r
  92 \r
  93 The message in question is a bounce from some X400 mail system, and its\r
  94 message id look like this:\r
  95 \r
  96   Message-Id: <NO*TELEMAX**NORWAYII    M0018001012307699038>\r
  97 \r
  98 I would like 'notmuch new' to use less memory and be better at\r
  99 estimating the time left, and would also like 'notmuch restore' to\r
 100 always be able to load the output from 'notmuch dump'.\r
 101 -- \r
 102 Happy hacking\r
 103 Petter Reinholdtsen\r