f7/2b15287c6e8c0cd9d8c44eae04f46cc3f9adbb

   1 Return-Path: <tils@tils.net>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 1B9BD431FBD\r
   6         for <notmuch@notmuchmail.org>; Sun, 13 Apr 2014 04:59:24 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 0\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=0 tagged_above=-999 required=5 tests=[none]\r
  12         autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id fQGnBjNSeDIT for <notmuch@notmuchmail.org>;\r
  16         Sun, 13 Apr 2014 04:59:20 -0700 (PDT)\r
  17 X-Greylist: delayed 368 seconds by postgrey-1.32 at olra;\r
  18         Sun, 13 Apr 2014 04:59:20 PDT\r
  19 Received: from goto.r-w-x.org (goto.r-w-x.org [176.9.70.178])\r
  20         by olra.theworths.org (Postfix) with ESMTP id B0A7F431FBC\r
  21         for <notmuch@notmuchmail.org>; Sun, 13 Apr 2014 04:59:20 -0700 (PDT)\r
  22 Received: from localhost (55d456ec.access.ecotel.net [85.212.86.236])\r
  23         by goto.r-w-x.org (Postfix) with ESMTPSA id F0D64BF68;\r
  24         Sun, 13 Apr 2014 13:53:05 +0200 (CEST)\r
  25 Received: by localhost (sSMTP sendmail emulation);\r
  26         Sun, 13 Apr 2014 13:53:05 +0200\r
  27 From: Tilmann Singer <tils@tils.net>\r
  28 To: Brian Sniffen <bsniffen@akamai.com>, notmuch@notmuchmail.org\r
  29 Subject: Re: Synchronization success stories?\r
  30 In-Reply-To: <m2r455f270.fsf@usma1mc-0csx92.kendall.corp.akamai.com>\r
  31 References: <m2r455f270.fsf@usma1mc-0csx92.kendall.corp.akamai.com>\r
  32 User-Agent: Notmuch/0.17 (http://notmuchmail.org) Emacs/24.3.1\r
  33         (x86_64-unknown-linux-gnu)\r
  34 Date: Sun, 13 Apr 2014 13:53:01 +0200\r
  35 Message-ID: <87ppklwin6.fsf@tils.net>\r
  36 MIME-Version: 1.0\r
  37 Content-Type: multipart/signed; boundary="=-=-=";\r
  38         micalg=pgp-sha1; protocol="application/pgp-signature"\r
  39 X-BeenThere: notmuch@notmuchmail.org\r
  40 X-Mailman-Version: 2.1.13\r
  41 Precedence: list\r
  42 List-Id: "Use and development of the notmuch mail system."\r
  43         <notmuch.notmuchmail.org>\r
  44 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  45         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  46 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  47 List-Post: <mailto:notmuch@notmuchmail.org>\r
  48 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  49 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  50         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  51 X-List-Received-Date: Sun, 13 Apr 2014 11:59:24 -0000\r
  52 \r
  53 --=-=-=\r
  54 Content-Type: text/plain\r
  55 \r
  56 I have experimented with offlineimap, syncmaildir and rsync.  The\r
  57 append-only approach of notmuch makes synchronization of the mail corpus\r
  58 simpler, so there are lots of options.  With ssh access to the server, I\r
  59 found rsync to be conceptually the simplest, but it turned out to be too\r
  60 slow for me (with ~110k mails) when frequently checking for new mails.\r
  61 \r
  62 What I have settled with is a hacked together ruby script that uses the\r
  63 notmuch command line both on the server and on the client to determine\r
  64 unsynced mails, and then runs rsync explicitely for the necessary files.\r
  65 \r
  66 The notmuch index on the server is only used to find new files for this\r
  67 synchronization process, and is different from the notmuch indexes I\r
  68 have on my client machines.\r
  69 \r
  70 A prerequisite for this is of course ssh access and the ability to set\r
  71 up notmuch on the server.\r
  72 \r
  73 The steps performed on a sync run are roughly like this:\r
  74 \r
  75 - local: notmuch new\r
  76 - local: notmuch search --output=messages <some time ago>..<now>\r
  77 - remote: notmuch new\r
  78 - remote: notmuch search --output=messages <some time ago>..<now>\r
  79 - compare search results\r
  80 - run rsync for mails that only exist locally\r
  81   (using notmuch search --output=files to get the filenames)\r
  82 - run rsync for mails that only exist remotely\r
  83   (using notmuch search --output=files to get the filenames)\r
  84 \r
  85 With a reused ssh connection this is sufficiently fast for me (<2s).  If\r
  86 there is interest I can clean up the script of hardcoded paths etc. and\r
  87 put it on github.\r
  88 \r
  89 Synchronization of the notmuch tags database is only necessary when I\r
  90 switch between different client computers, which happens less\r
  91 frequently. Like David I have a dump file committed to git for that. I\r
  92 found it useful to sort the output before adding it to git, to avoid\r
  93 huge unreadable diffs:\r
  94 \r
  95 notmuch dump --format=batch-tag | sort > /path/to/notmuch.dump\r
  96 \r
  97 \r
  98 Til\r
  99 \r
 100 --=-=-=\r
 101 Content-Type: application/pgp-signature\r
 102 \r
 103 -----BEGIN PGP SIGNATURE-----\r
 104 Version: GnuPG v2.0.22 (GNU/Linux)\r
 105 \r
 106 iQEcBAEBAgAGBQJTSnqhAAoJEIPWI/RHW7lz6kkH/jSSYmzBRlV+jXPxfsBSSutA\r
 107 w7aM0VX/BBgwz+OiiMKfJMHA8xS4Q7AnWojcimki14WlT6VuUsNxn0mqTo8/3GM3\r
 108 ju27rHEvSH/sQUHnFgnoIAh1sGwP/IspKJc+225FVQPpZhe/kgv0RO/Bd2d9furi\r
 109 fZCHsJy8mzVbLIeq3lCoy6H9jbJJrZTzl5UvRvYKuav78nucLAJMFnlpU57wLRuZ\r
 110 BDY17rVOn6ZiToL8Mvizbrjm7EttXiezV8ghDllGtMfkc/Pwq0kYNYCxrN3/GYx6\r
 111 3PJsuNqBxQJhb7VesbKRdRRO10b1tXh4bPb/PSGDadU8gZAPqUOIvoBlXxSwMH8=\r
 112 =p3sn\r
 113 -----END PGP SIGNATURE-----\r
 114 --=-=-=--\r