60/fdec1da94c4eb5a0a037aaaa425d2049a353a1

   1 Return-Path: <Jason@zx2c4.com>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 575DC431FBC\r
   6         for <notmuch@notmuchmail.org>; Wed, 12 Dec 2012 10:36:00 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.1\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.1 tagged_above=-999 required=5\r
  12         tests=[DKIM_SIGNED=0.1, DKIM_VALID=-0.1, DKIM_VALID_AU=-0.1,\r
  13         RCVD_IN_DNSWL_NONE=-0.0001] autolearn=disabled\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id 4NrkWu09u8Fz for <notmuch@notmuchmail.org>;\r
  17         Wed, 12 Dec 2012 10:35:59 -0800 (PST)\r
  18 Received: from homiemail-a38.g.dreamhost.com (caiajhbdcbhh.dreamhost.com\r
  19         [208.97.132.177])\r
  20         by olra.theworths.org (Postfix) with ESMTP id C3173431FB6\r
  21         for <notmuch@notmuchmail.org>; Wed, 12 Dec 2012 10:35:59 -0800 (PST)\r
  22 Received: from homiemail-a38.g.dreamhost.com (localhost [127.0.0.1])\r
  23         by homiemail-a38.g.dreamhost.com (Postfix) with ESMTP id 2124110AFA5\r
  24         for <notmuch@notmuchmail.org>; Wed, 12 Dec 2012 10:35:59 -0800 (PST)\r
  25 DKIM-Signature: v=1; a=rsa-sha1; c=relaxed; d=zx2c4.com; h=mime-version\r
  26         :in-reply-to:references:date:message-id:subject:from:to:cc:\r
  27         content-type; s=zx2c4.com; bh=cQNUIkTx7EONuKqRMhpFA9wooYE=; b=eN\r
  28         EJS88dfsp1ZObKCu/lYnwALQeczHFL1E1E2KFiAfVlXA4lXhlD+4/jOfk2XBrtCq\r
  29         0C6j+Mr1mWYyewxYB77Yoeac4R4RkLMbOXp2Ckuvgj5xZpk9A8wLigRg4m82CMSp\r
  30         Mp65SdD939PN9+sdLcF4lMTrI5+O/iZ9KZcpEf7AM=\r
  31 Received: from mail-oa0-f53.google.com (mail-oa0-f53.google.com\r
  32         [209.85.219.53]) (using TLSv1 with cipher RC4-SHA (128/128 bits))\r
  33         (No client certificate requested)\r
  34         (Authenticated sender: jason@zx2c4.com)\r
  35         by homiemail-a38.g.dreamhost.com (Postfix) with ESMTPSA id E9E8810AFAD\r
  36         for <notmuch@notmuchmail.org>; Wed, 12 Dec 2012 10:35:58 -0800 (PST)\r
  37 Received: by mail-oa0-f53.google.com with SMTP id j6so1097080oag.26\r
  38         for <notmuch@notmuchmail.org>; Wed, 12 Dec 2012 10:35:58 -0800 (PST)\r
  39 MIME-Version: 1.0\r
  40 Received: by 10.60.32.67 with SMTP id g3mr939326oei.77.1355337357241; Wed, 12\r
  41         Dec 2012 10:35:57 -0800 (PST)\r
  42 Received: by 10.76.33.70 with HTTP; Wed, 12 Dec 2012 10:35:57 -0800 (PST)\r
  43 In-Reply-To: <20121211182638.27237.98903@brick.lan>\r
  44 References:\r
  45  <CAHmME9phAD0JKHDf+1KuCPyo4WXpDW5NESAE_iT3Ruv3bEVCuw@mail.gmail.com>\r
  46         <20121211182638.27237.98903@brick.lan>\r
  47 Date: Wed, 12 Dec 2012 19:35:57 +0100\r
  48 Message-ID:\r
  49  <CAHmME9qafP5He4hYPEAyrtS4hq3CRNKBQfvxvP=r4L6uDeqt1w@mail.gmail.com>\r
  50 Subject: Re: notmuch python bindings corrupt db index (was: gmail importer\r
  51         script)\r
  52 From: "Jason A. Donenfeld" <Jason@zx2c4.com>\r
  53 To: Patrick Totzke <patricktotzke@gmail.com>\r
  54 Content-Type: text/plain; charset=ISO-8859-1\r
  55 Cc: notmuch@notmuchmail.org\r
  56 X-BeenThere: notmuch@notmuchmail.org\r
  57 X-Mailman-Version: 2.1.13\r
  58 Precedence: list\r
  59 List-Id: "Use and development of the notmuch mail system."\r
  60         <notmuch.notmuchmail.org>\r
  61 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  62         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  63 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  64 List-Post: <mailto:notmuch@notmuchmail.org>\r
  65 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  66 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  67         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  68 X-List-Received-Date: Wed, 12 Dec 2012 18:36:00 -0000\r
  69 \r
  70 On Tue, Dec 11, 2012 at 7:26 PM, Patrick Totzke <patricktotzke@gmail.com> wrote:\r
  71 > OK, i assumed i'd not have to download all messages because i already have them\r
  72 > on disk -- synced via offlineimap. but then i remembered that OI stores uses\r
  73 > its own naming scheme for the files in a maildir. so thats probably why your script\r
  74 > did not realize theyre already there. (maybe it should? it could look up the MIDs from notmuch)\r
  75 \r
  76 Gmail bandwidth restrictions make this unfeasible. Requesting mail\r
  77 header IDs via IMAP will rate limit the listing to 2 mails per second.\r
  78 The best gmail will allow us to do at quasi rapid speed (~180kB/s) is\r
  79 ask for the IMAP sequence number and the unique gmail 64bit number.\r
  80 So, the maildir scheme winds up being "${gmail-unique-number}.gmail",\r
  81 and the script doesn't redownload based on the preexistence of a file\r
  82 with the corresponding name.\r
  83 \r
  84 > i am kind of reluctant to reproduce this again (on my work-desktop).\r
  85 \r
  86 It'd really be a huge help if you could backup and try...\r
  87 \r
  88 > All i did was start your script, writing to the index in another terminal in between (using alot)\r
  89 > possibly my cronjob fired a "notmuch new; afew.." in between also.\r
  90 > when I killed your script the index war broken.\r
  91 >\r
  92 > Can i turn on some global logging for notmuch to debug this?\r
  93 > Maybe libnotmuch had trouble with so many db-writes at a time?\r
  94 \r
  95 That is very wrong and bizarre. I open the database in read/write\r
  96 mode, which is supposed to lock other programs from accessing it in\r
  97 this way... Very strange.\r