06/aba6f513d21523fc0fbd2151e15acbe1c97ea9

   1 Return-Path: <jani@nikula.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 1B506431FBC\r
   6         for <notmuch@notmuchmail.org>; Tue,  4 Feb 2014 00:25:37 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.7\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
  12         tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id dvf8Y2BBuakD for <notmuch@notmuchmail.org>;\r
  16         Tue,  4 Feb 2014 00:25:29 -0800 (PST)\r
  17 Received: from mail-qa0-f47.google.com (mail-qa0-f47.google.com\r
  18         [209.85.216.47]) (using TLSv1 with cipher RC4-SHA (128/128 bits))\r
  19         (No client certificate requested)\r
  20         by olra.theworths.org (Postfix) with ESMTPS id C37D8431FAF\r
  21         for <notmuch@notmuchmail.org>; Tue,  4 Feb 2014 00:25:29 -0800 (PST)\r
  22 Received: by mail-qa0-f47.google.com with SMTP id j5so11545887qaq.6\r
  23         for <notmuch@notmuchmail.org>; Tue, 04 Feb 2014 00:25:28 -0800 (PST)\r
  24 X-Google-DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed;\r
  25         d=1e100.net; s=20130820;\r
  26         h=x-gm-message-state:from:to:subject:in-reply-to:references\r
  27         :user-agent:date:message-id:mime-version:content-type;\r
  28         bh=a01g9Gmh+8b36jvtepoObCJuCt0oG8P/EvAbxZt5vGM=;\r
  29         b=Q4eAFKSbIKoqCMv+8bQz5EW12rDYskTdY+4aT/iqryXqqPLpMJZfozsBVXwbWYNTBy\r
  30         XxuuRz4I8iGa1x36CSl02rttCV6ZYg3fYQH8QId3vYRkAgkOxu1KV5anhobzMywWxxGg\r
  31         XpnEurnNPko3d8IDjY2R9bGAu0FZu4FHZb4uCoFwRFKIKqi8jGl+QChEKYaLQ2rr9/PU\r
  32         OHml6xH3aCmyXuxPsYw/CSzDWXVSzeiTG3yHNCdg9fdFkLEr04Sf1ovAsT4f6gu//pDw\r
  33         0kd4ClUxu+WhvhD5QBb9xHg/cO2SBYSM7YNwS8uFGzP+u6/XMDQzlPLFdmTLSzJ0b+xb\r
  34         PuPg==\r
  35 X-Gm-Message-State:\r
  36  ALoCoQn7Xs1IuzaYF4174TOpa9o+oE6D3yuFmzKjnTW4wC4uDA4a2DxXpof3IqRO3ZHtlRn9rGtO\r
  37 X-Received: by 10.140.107.53 with SMTP id g50mr60371021qgf.63.1391502328087;\r
  38         Tue, 04 Feb 2014 00:25:28 -0800 (PST)\r
  39 Received: from localhost ([2001:4b98:dc0:43:216:3eff:fe1b:25f3])\r
  40         by mx.google.com with ESMTPSA id o68sm31252698qge.8.2014.02.04.00.25.25\r
  41         for <multiple recipients>\r
  42         (version=TLSv1.1 cipher=RC4-SHA bits=128/128);\r
  43         Tue, 04 Feb 2014 00:25:27 -0800 (PST)\r
  44 From: Jani Nikula <jani@nikula.org>\r
  45 To: Hamish Downer <hamish@foobacca.co.uk>, notmuch@notmuchmail.org\r
  46 Subject: Re: notmuch killed due to out of memory - how to move forward\r
  47 In-Reply-To:\r
  48  <CAOxvSbfWu3M=M1PyFrZcUhszjW0rpb0wYOiia+3sSSd9AGqD4w@mail.gmail.com>\r
  49 References:\r
  50  <CAOxvSbfWu3M=M1PyFrZcUhszjW0rpb0wYOiia+3sSSd9AGqD4w@mail.gmail.com>\r
  51 User-Agent: Notmuch/0.17+64~g6eaa780 (http://notmuchmail.org) Emacs/23.2.1\r
  52         (x86_64-pc-linux-gnu)\r
  53 Date: Tue, 04 Feb 2014 09:25:17 +0100\r
  54 Message-ID: <87r47jcmj6.fsf@nikula.org>\r
  55 MIME-Version: 1.0\r
  56 Content-Type: text/plain; charset=us-ascii\r
  57 X-BeenThere: notmuch@notmuchmail.org\r
  58 X-Mailman-Version: 2.1.13\r
  59 Precedence: list\r
  60 List-Id: "Use and development of the notmuch mail system."\r
  61         <notmuch.notmuchmail.org>\r
  62 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  63         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  64 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  65 List-Post: <mailto:notmuch@notmuchmail.org>\r
  66 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  67 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  68         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  69 X-List-Received-Date: Tue, 04 Feb 2014 08:25:37 -0000\r
  70 \r
  71 On Mon, 03 Feb 2014, Hamish Downer <hamish@foobacca.co.uk> wrote:\r
  72 > Hello\r
  73 >\r
  74 > I recently deleted almost 30000 old messages from my maildirs, and\r
  75 > since I did that, notmuch new has not managed to complete.  I have it\r
  76 > running on a server with 1 GB of RAM, and the output is telling me\r
  77 >\r
  78 >     Cleaned up 25515 of 29803 messages (1m 10s remaining).\r
  79 >\r
  80 > at the point it is killed.  I have followed it up to this point with\r
  81 > top and free and I can see memory usage growing to something like\r
  82 > 700MB (RES) at which point the process is killed.\r
  83 >\r
  84 > I am using notmuch 0.17 (from the debian jessie package 0.17-3) on\r
  85 > debian wheezy 64 bit.\r
  86 >\r
  87 > Any pointers as to what to do to get past this point would be greatly\r
  88 > appreciated.  If I have just deleted that many messages should I just\r
  89 > expect notmuch to use that much memory?  (Unfortunately the company\r
  90 > supplying the server does not allow swap to be enabled so I can't fudge\r
  91 > it that way)\r
  92 >\r
  93 > I did also try running it with NOTMUCH_TALLOC_REPORT, but that didn't\r
  94 > produce a report (though I was unsure if I needed to rebuild notmuch\r
  95 > before that would work).\r
  96 >\r
  97 > Happy to build notmuch from source if this might be an interesting bug\r
  98 > worth tracking down.\r
  99 \r
 100 Please try SIGINT, or ^C, on notmuch new before it gets killed. That\r
 101 should be handled gracefully, making progress, and letting you chop up\r
 102 and eventually finish the operation. Please let us know if this helps.\r
 103 \r
 104 Needless to say, we shouldn't use that much memory just to delete files\r
 105 from the index.\r
 106 \r
 107 \r
 108 BR,\r
 109 Jani.\r
 110 \r