6e/0f5215c3dd26d26eadea2d66fa171a71b38851

   1 Return-Path: <anarcat@orangeseeds.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5  by arlo.cworth.org (Postfix) with ESMTP id BE5D46DE099D\r
   6  for <notmuch@notmuchmail.org>; Mon,  1 Feb 2016 15:38:04 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at cworth.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 0\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=0 tagged_above=-999 required=5 tests=[none]\r
  12  autolearn=disabled\r
  13 Received: from arlo.cworth.org ([127.0.0.1])\r
  14  by localhost (arlo.cworth.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15  with ESMTP id J3c6CosZGBy7 for <notmuch@notmuchmail.org>;\r
  16  Mon,  1 Feb 2016 15:38:02 -0800 (PST)\r
  17 X-Greylist: delayed 383 seconds by postgrey-1.35 at arlo;\r
  18  Mon, 01 Feb 2016 15:38:02 PST\r
  19 Received: from marcos.anarc.at (marcos.anarc.at [206.248.172.91])\r
  20  by arlo.cworth.org (Postfix) with ESMTP id A824E6DE0222\r
  21  for <notmuch@notmuchmail.org>; Mon,  1 Feb 2016 15:38:02 -0800 (PST)\r
  22 Received: by marcos.anarc.at (Postfix, from userid 1000)\r
  23  id 7BA301A008D; Mon,  1 Feb 2016 18:31:34 -0500 (EST)\r
  24 From: Antoine =?utf-8?Q?Beaupr=C3=A9?= <anarcat@orangeseeds.org>\r
  25 To: notmuch@notmuchmail.org\r
  26 Subject: muchsync runs out of memory\r
  27 User-Agent: Notmuch/0.18.2 (http://notmuchmail.org) Emacs/24.4.1\r
  28  (x86_64-pc-linux-gnu)\r
  29 Date: Mon, 01 Feb 2016 18:31:34 -0500\r
  30 Message-ID: <87d1sgm2i1.fsf@marcos.anarc.at>\r
  31 MIME-Version: 1.0\r
  32 Content-Type: text/plain; charset=utf-8\r
  33 Content-Transfer-Encoding: quoted-printable\r
  34 X-Mailman-Approved-At: Fri, 05 Feb 2016 11:46:07 -0800\r
  35 X-BeenThere: notmuch@notmuchmail.org\r
  36 X-Mailman-Version: 2.1.20\r
  37 Precedence: list\r
  38 List-Id: "Use and development of the notmuch mail system."\r
  39  <notmuch.notmuchmail.org>\r
  40 List-Unsubscribe: <https://notmuchmail.org/mailman/options/notmuch>,\r
  41  <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  42 List-Archive: <http://notmuchmail.org/pipermail/notmuch/>\r
  43 List-Post: <mailto:notmuch@notmuchmail.org>\r
  44 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  45 List-Subscribe: <https://notmuchmail.org/mailman/listinfo/notmuch>,\r
  46  <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  47 X-List-Received-Date: Mon, 01 Feb 2016 23:38:04 -0000\r
  48 \r
  49 I have been impressed with the features of muchsync when I recently\r
  50 found out about it. muchsync seems to do everything i want: i have my\r
  51 server where i usually take my mail, but then my laptop that i want to\r
  52 sync and run notmuch + emacs on...\r
  53 \r
  54 however, when i tried it, it failed:\r
  55 \r
  56 [1011]anarcat@angela:~$ muchsync -v --noup --init Maildir\r
  57 marcos.anarc.at\r
  58 [SERVER] [notmuch] Note: Ignoring non-mail file:\r
  59 /home/anarcat/Maildir//.Archives/dovecot-uidlist\r
  60 [SERVER] [notmuch] Note: Ignoring non-mail file:\r
  61 /home/anarcat/Maildir//.Archives/dovecot.index.log\r
  62 [SERVER] [notmuch] Note: Ignoring non-mail file:\r
  63 /home/anarcat/Maildir//.Drafts/dovecot-uidlist\r
  64 [...]\r
  65 [SERVER] [notmuch] Note: Ignoring non-mail file:\r
  66 /home/anarcat/Maildir//courierimaphieracl/notmuch\r
  67 [SERVER] [notmuch] Note: Ignoring non-mail file:\r
  68 /home/anarcat/Maildir//courierimapkeywords/:list\r
  69 [SERVER] [notmuch] Processed 53 total files in almost no time.\r
  70 [SERVER] [notmuch] Added 4 new messages to the database.\r
  71 [SERVER] [notmuch] Tagging spam (still incomplete)\r
  72 [SERVER] [notmuch] tagging folders\r
  73 [SERVER] [notmuch] tagging feeds\r
  74 [SERVER] [notmuch] Tagging the rest\r
  75 [notmuch] No new mail.\r
  76 synchronizing muchsync database with Xapian... 4.525728 (+4.525728)\r
  77 starting scan of Xapian database... 4.526494 (+0.000766)\r
  78 opened Xapian... 4.530846 (+0.004351)\r
  79 scanned message IDs... 4.531486 (+0.000640)\r
  80 scanned tags... 4.532962 (+0.001477)\r
  81 scanned directories in xapian... 4.533484 (+0.000521)\r
  82 scanned filenames in xapian... 4.534243 (+0.000760)\r
  83 adjusted link counts... 4.534790 (+0.000546)\r
  84 finished synchronizing muchsync database with Xapian... 4.585857\r
  85 (+0.051067)\r
  86 received server's version vector... 4.673185 (+0.087328)\r
  87 received hashes of new files... 13.704394 (+9.031209)\r
  88 created directory /home/anarcat/Maildir/.Archives.2010\r
  89 created directory /home/anarcat/Maildir/.Archives.2010/cur\r
  90 created directory /home/anarcat/Maildir/.Archives.2010/new\r
  91 created directory /home/anarcat/Maildir/.Archives.2010/tmp\r
  92 created directory /home/anarcat/Maildir/.ham\r
  93 created directory /home/anarcat/Maildir/.ham/cur\r
  94 created directory /home/anarcat/Maildir/.ham/new\r
  95 created directory /home/anarcat/Maildir/.ham/tmp\r
  96 created directory /home/anarcat/Maildir/.Archives.2011\r
  97 created directory /home/anarcat/Maildir/.Archives.2011/cur\r
  98 created directory /home/anarcat/Maildir/.Archives.2011/new\r
  99 created directory /home/anarcat/Maildir/.Archives.2011/tmp\r
 100 Warning:\r
 101 /home/anarcat/Maildir/.Archives.2011/cur/1447185197.M640040073P4037Q12085Rc=\r
 102 1c3db4c.angela:2,\r
 103 is an mbox containing a single message,\r
 104 likely caused by misconfigured mail delivery.  Support for\r
 105 single-message\r
 106 mboxes is deprecated and may be removed in the future.\r
 107 A Xapian exception occurred opening database: Unable to get write lock\r
 108 on /home/anarcat/Maildir/.notmuch/xapian: Couldn't fork: Cannot allocate\r
 109 memory\r
 110 /home/anarcat/Maildir: A Xapian exception occurred\r
 111 Processus arr=C3=AAt=C3=A9\r
 112 \r
 113 when i run it again, it thinks everything is fine:\r
 114 \r
 115 [1012]anarcat@angela:~137$ muchsync -v --noup Maildir marcos.anarc.at\r
 116 [notmuch] Processed 1 file in almost no time.\r
 117 [notmuch] Added 1 new message to the database.\r
 118 synchronizing muchsync database with Xapian... 1.304332 (+1.304332)\r
 119 starting scan of Xapian database... 1.306140 (+0.001807)\r
 120 opened Xapian... 1.310448 (+0.004308)\r
 121 scanned message IDs... 1.656520 (+0.346072)\r
 122 scanned tags... 1.744574 (+0.088054)\r
 123 scanned directories in xapian... 1.746279 (+0.001704)\r
 124 scanned filenames in xapian... 20.900691 (+19.154412)\r
 125 adjusted link counts... 20.939274 (+0.038584)\r
 126 finished synchronizing muchsync database with Xapian... 21.248633\r
 127 (+0.309359)\r
 128 \r
 129 but it's not fine:\r
 130 \r
 131 [1019]anarcat@angela:~$ notmuch count\r
 132 6289\r
 133 [1021]anarcat@angela:~$ ssh anarc.at notmuch count\r
 134 202094\r
 135 \r
 136 at first, it did not look like it used up all the RAM, because\r
 137 I was looking at Munin graphs which are updated every 5 minutes..\r
 138 \r
 139 after talking with the author privately (the above is a copy of a\r
 140 previous conversation), I was told to try the following patch\r
 141 \r
 142 --- a/muchsync.cc\r
 143 +++ b/muchsync.cc\r
 144 @@ -15,7 +15,7 @@\r
 145 \r
 146  using namespace std;\r
 147 \r
 148 -#if 0\r
 149 +#if 1\r
 150  // This gives core dumps to make it easier to debug\r
 151  struct no_such_exception_t {\r
 152    const char *what() noexcept { return "no such exception"; }\r
 153 \r
 154 Then I could confirm muchsync was killed by the OOM killer:\r
 155 \r
 156 In the end, it did run out of memory:\r
 157 \r
 158 [47386.773767] [ pid ]   uid  tgid total_vm      rss nr_ptes nr_pmds swapen=\r
 159 ts oom_score_adj name\r
 160 [...]\r
 161 [47386.774287] [15162]  1000 15162  1280802   835232    2478       8 405017=\r
 162              0 muchsync\r
 163 [...]\r
 164 [47386.774303] Out of memory: Kill process 15162 (muchsync) score 866 or sa=\r
 165 crifice child\r
 166 \r
 167 ... so around 1.2GB in use... I don't think it dumped core - if so, I\r
 168 couldn't find the core file.\r
 169 \r
 170 Note that only 500MB of mails were transfered, out of around 11GB of\r
 171 notmuch db + mail in my remote maildir.\r
 172 \r
 173 Anyone using muchsync with similar data sizes?\r
 174 \r
 175 I'd love to get this working - I had trouble reseting my offlineimap +\r
 176 local notmuch synchronisation the last time I tried... Notmuch tags\r
 177 would not get assigned properly, for some reason...\r
 178 \r
 179 Thanks for any advice,\r
 180 \r
 181 a.\r
 182 \r
 183 --=20\r
 184 Nothing incites to money-crimes like great poverty or great wealth.\r
 185                         - Mark Twain\r