10/c04e841f8a9b0291dbd00847981ccba3873cfe

   1 Return-Path: <guyzmo+notmuch@m0g.net>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5  by arlo.cworth.org (Postfix) with ESMTP id 5C6E46DE10F8\r
   6  for <notmuch@notmuchmail.org>; Wed,  6 Jan 2016 07:49:49 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at cworth.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.315\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.315 tagged_above=-999 required=5 tests=[AWL=0.337,\r
  12   DKIM_SIGNED=0.1, DKIM_VALID=-0.1, DKIM_VALID_AU=-0.1, RP_MATCHES_RCVD=-0.55,\r
  13  SPF_HELO_PASS=-0.001, SPF_PASS=-0.001] autolearn=disabled\r
  14 Received: from arlo.cworth.org ([127.0.0.1])\r
  15  by localhost (arlo.cworth.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16  with ESMTP id t2DqjJfSpLEN for <notmuch@notmuchmail.org>;\r
  17  Wed,  6 Jan 2016 07:49:47 -0800 (PST)\r
  18 Received: from elendil.m0g.net (elendil.m0g.net [212.83.155.195])\r
  19  by arlo.cworth.org (Postfix) with ESMTPS id 642BF6DE103A\r
  20  for <notmuch@notmuchmail.org>; Wed,  6 Jan 2016 07:49:47 -0800 (PST)\r
  21 Received: from authenticated-user (elendil.m0g.net [212.83.155.195])\r
  22  (using TLSv1 with cipher ECDHE-RSA-AES256-SHA (256/256 bits))\r
  23  (No client certificate requested)\r
  24  by elendil.m0g.net (Postfix) with ESMTPSA id EA1552A0C5A\r
  25  for <notmuch@notmuchmail.org>; Wed,  6 Jan 2016 16:49:45 +0100 (CET)\r
  26 DKIM-Signature: v=1; a=rsa-sha256; c=simple/simple; d=m0g.net; s=mail;\r
  27  t=1452095386; bh=luCc/k/ih3GmMNLCHbAHU0RqsP2PvvE2Z1GXzh685Ek=;\r
  28  h=From:Subject:Date:To:From;\r
  29  b=d52dhNmMm5PmWm6JxMV0b842v4/Ie9IeFdcKHkgvQ87iGoCqfmwe0SA+4iATpw0Yv\r
  30  IqxpsDAiTW0NzOHwRdoQ/QyQ7V8QuS6WfLdzN+QTs5K5g0YZKiACpD+QX2zXAFkrf6\r
  31  cf0zotXh2eallC9w0Sb9x6y8ip4Qt5YlMMFkq2SWdycnZb5SJIcgQdW0uj30mDuvHG\r
  32  MqH4A6ud63LdI6IfASzkBcXuy6rrPTB3428JnS9FZDdGI+1F6v0PN0HXJRrFbakHak\r
  33  dEzV64ePd/NK3wG9beKSciQG5ZVPQxhJa81BYVZZqQpD3cgP5kEgpwWHIDATxvbzX0\r
  34  ZokF56CUa8maQ==\r
  35 From: Guyzmo <guyzmo+notmuch@m0g.net>\r
  36 Content-Type: text/plain; charset=utf-8\r
  37 Content-Transfer-Encoding: quoted-printable\r
  38 Subject: Xapian lockup when writing to the notmuch database\r
  39 Message-Id: <67EEA3E1-918F-47AE-8AD7-EF0A5923D800@m0g.net>\r
  40 Date: Wed, 6 Jan 2016 15:49:28 +0000\r
  41 To: notmuch@notmuchmail.org\r
  42 Mime-Version: 1.0\r
  43 X-BeenThere: notmuch@notmuchmail.org\r
  44 X-Mailman-Version: 2.1.20\r
  45 Precedence: list\r
  46 List-Id: "Use and development of the notmuch mail system."\r
  47  <notmuch.notmuchmail.org>\r
  48 List-Unsubscribe: <https://notmuchmail.org/mailman/options/notmuch>,\r
  49  <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  50 List-Archive: <http://notmuchmail.org/pipermail/notmuch/>\r
  51 List-Post: <mailto:notmuch@notmuchmail.org>\r
  52 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  53 List-Subscribe: <https://notmuchmail.org/mailman/listinfo/notmuch>,\r
  54  <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  55 X-List-Received-Date: Wed, 06 Jan 2016 15:49:49 -0000\r
  56 \r
  57 Hello,\r
  58 \r
  59 I have migrated my mail configuration from an old machine to a new one, =\r
  60 which is a xen=20\r
  61 server with several VM instances. I have one VM dedicated to do mail =\r
  62 stuff, and I want\r
  63 to manage my Maildir using notmuch in another one. So I set up an NFSv4 =\r
  64 share (with\r
  65 sync option set) from the mail server, to have my Maildir accessible =\r
  66 from the other VM.=20\r
  67 Of course, I made sure my user is able to have full privileges over the =\r
  68 mounted share,\r
  69 and there=E2=80=99s only one instance of notmuch running over that =\r
  70 xapian db at all times.\r
  71 \r
  72 All read only operations work just perfectly fine, I can even run =\r
  73 notmuch-kz and have\r
  74 it list my search mailboxes.\r
  75 \r
  76 But when I do `notmuch new` it hangs. So I did ran it through gdb and =\r
  77 here is the result:\r
  78 \r
  79 % gdb notmuch\r
  80 (gdb) run new\r
  81 Starting program: /usr/local/bin/notmuch new\r
  82 [Thread debugging using libthread_db enabled]\r
  83 Using host libthread_db library =\r
  84 "/lib/i386-linux-gnu/i686/cmov/libthread_db.so.1".\r
  85 ^C\r
  86 Program received signal SIGINT, Interrupt.\r
  87 0xb7fe1428 in __kernel_vsyscall ()\r
  88 (gdb) bt\r
  89 #0  0xb7fe1428 in __kernel_vsyscall ()\r
  90 #1  0xb7d2a953 in read () from /lib/i386-linux-gnu/i686/cmov/libc.so.6\r
  91 #2  0xb7adf538 in read (__nbytes=3D1, __buf=3D0xbfffedfc, =\r
  92 __fd=3D<optimized out>) at /usr/include/i386-linux-gnu/bits/unistd.h:45\r
  93 #3  FlintLock::lock (this=3D0x8079180, exclusive=3Dtrue, =\r
  94 explanation=3D...) at ../backends/flint_lock.cc:222\r
  95 #4  0xb7b30a86 in ChertDatabase::get_database_write_lock =\r
  96 (this=3Dthis@entry=3D0x80789a0, creating=3Dcreating@entry=3Dfalse)\r
  97   at ../backends/chert/chert_database.cc:505\r
  98 #5  0xb7b34fd2 in ChertDatabase::ChertDatabase =\r
  99 (this=3Dthis@entry=3D0x80789a0, chert_dir=3D..., action=3Daction@entry=3D1=\r
 100 , block_size=3Dblock_size@entry=3D8192)\r
 101   at ../backends/chert/chert_database.cc:154\r
 102 #6  0xb7b35554 in ChertWritableDatabase::ChertWritableDatabase =\r
 103 (this=3D0x80789a0, dir=3D..., action=3D1, block_size=3D8192)\r
 104   at ../backends/chert/chert_database.cc:1036\r
 105 #7  0xb7adcee4 in Xapian::WritableDatabase::WritableDatabase =\r
 106 (this=3D0x80780c8, path=3D..., action=3D1) at =\r
 107 ../backends/dbfactory.cc:490\r
 108 #8  0xb7fb8c68 in notmuch_database_open_verbose (path=3D0x80780c8 =\r
 109 "\340\327=C5=B7", mode=3DNOTMUCH_DATABASE_MODE_READ_WRITE, =\r
 110 database=3D0xbffff230,=20\r
 111   status_string=3D0xbffff248) at lib/database.cc:933\r
 112 #9  0x08054e93 in notmuch_new_command (config=3D0x80745b8, argc=3D1, =\r
 113 argv=3D0xbffff678) at notmuch-new.c:1008\r
 114 #10 0x0804df87 in main (argc=3D2, argv=3D0xbffff674) at notmuch.c:421\r
 115 (gdb)=20\r
 116 \r
 117 then I tried doing another write operation, doing a `notmuch tag` =\r
 118 command\r
 119 \r
 120 % gdb notmuch\r
 121 (gdb) run tag +tag id:<a_unique_mail_id>\r
 122 (gdb) bt\r
 123 #0  0xb7fe1428 in __kernel_vsyscall ()\r
 124 #1  0xb7d2a953 in read () from /lib/i386-linux-gnu/i686/cmov/libc.so.6\r
 125 #2  0xb7adf538 in read (__nbytes=3D1, __buf=3D0xbfffefac, =\r
 126 __fd=3D<optimized out>) at /usr/include/i386-linux-gnu/bits/unistd.h:45\r
 127 #3  FlintLock::lock (this=3D0x8079360, exclusive=3Dtrue, =\r
 128 explanation=3D...) at ../backends/flint_lock.cc:222\r
 129 #4  0xb7b30a86 in ChertDatabase::get_database_write_lock =\r
 130 (this=3Dthis@entry=3D0x8078b80, creating=3Dcreating@entry=3Dfalse)\r
 131   at ../backends/chert/chert_database.cc:505\r
 132 #5  0xb7b34fd2 in ChertDatabase::ChertDatabase =\r
 133 (this=3Dthis@entry=3D0x8078b80, chert_dir=3D..., action=3Daction@entry=3D1=\r
 134 , block_size=3Dblock_size@entry=3D8192)\r
 135   at ../backends/chert/chert_database.cc:154\r
 136 #6  0xb7b35554 in ChertWritableDatabase::ChertWritableDatabase =\r
 137 (this=3D0x8078b80, dir=3D..., action=3D1, block_size=3D8192)\r
 138   at ../backends/chert/chert_database.cc:1036\r
 139 #7  0xb7adcee4 in Xapian::WritableDatabase::WritableDatabase =\r
 140 (this=3D0x80780c8, path=3D..., action=3D1) at =\r
 141 ../backends/dbfactory.cc:490\r
 142 #8  0xb7fb8c68 in notmuch_database_open_verbose (path=3D0x80780c8 =\r
 143 "\340\327=C5=B7", mode=3DNOTMUCH_DATABASE_MODE_READ_WRITE, =\r
 144 database=3D0xbffff3e4,=20\r
 145   status_string=3D0xbffff39c) at lib/database.cc:933\r
 146 #9  0xb7fb975c in notmuch_database_open (path=3D0x8078068 =\r
 147 "/home/guyzmo/Maildir", =\r
 148 mode=3Dmode@entry=3DNOTMUCH_DATABASE_MODE_READ_WRITE,=20\r
 149   database=3Ddatabase@entry=3D0xbffff3e4) at lib/database.cc:848\r
 150 #10 0x0805cbe4 in notmuch_tag_command (config=3D0x80745b8, argc=3D3, =\r
 151 argv=3D0xbffff638) at notmuch-tag.c:262\r
 152 #11 0x0804df87 in main (argc=3D4, argv=3D0xbffff634) at notmuch.c:421\r
 153 (gdb)=20\r
 154 \r
 155 I=E2=80=99m running notmuch on a Debian Wheezy, on which I compiled =\r
 156 latest notmuch\r
 157 from git, using the repository=E2=80=99s libxapian which is v1.2.12-2.\r
 158 \r
 159 Now, I could use a newer version of libxapian, either V1.2.16 from the =\r
 160 debian=20\r
 161 wheezy backports, or get the latest compiling it from sources, as it =\r
 162 looks=20\r
 163 like the flintlock.cc compilation unit has been rewritten since v1.2.12\r
 164 =E2=80=94  though it looks like the part where it hangs is looking quite =\r
 165 alike, but=20\r
 166 it=E2=80=99s hard to tell from the changes whether that would have an =\r
 167 inpact.\r
 168 \r
 169 So my question is whether this is a known issue, and is actually related =\r
 170 to\r
 171 the fact that I=E2=80=99m running it over NFS. I looked for NFS related =\r
 172 comments on\r
 173 xapian website and so far I found nothing looking alike my issue.\r
 174 \r
 175 I=E2=80=99ll try testing with other versions of xapian and see it solves =\r
 176 it. If the\r
 177 issue is still on with HEAD of xapian=E2=80=99s sources, then I=E2=80=99ll=\r
 178  do a bug report.\r
 179 Until then, I=E2=80=99m just checking on this list for ideas and =\r
 180 comments, in hope\r
 181 for a working solution.\r
 182 \r
 183 Cheers,\r
 184 \r
 185 --=20\r
 186 Guyzmo=\r