6f/6a01c2b5c69ff607c31f47913d0c8ee0bfd2db

   1 Return-Path: <m.walters@qmul.ac.uk>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 1804F431FBC\r
   6         for <notmuch@notmuchmail.org>; Mon,  2 Jun 2014 06:51:13 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 0.502\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=0.502 tagged_above=-999 required=5\r
  12         tests=[DKIM_ADSP_CUSTOM_MED=0.001, FREEMAIL_FROM=0.001,\r
  13         NML_ADSP_CUSTOM_MED=1.2, RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id z42UBbi1kTKh for <notmuch@notmuchmail.org>;\r
  17         Mon,  2 Jun 2014 06:51:05 -0700 (PDT)\r
  18 Received: from mail2.qmul.ac.uk (mail2.qmul.ac.uk [138.37.6.6])\r
  19         (using TLSv1 with cipher DHE-RSA-AES256-SHA (256/256 bits))\r
  20         (No client certificate requested)\r
  21         by olra.theworths.org (Postfix) with ESMTPS id A5A72431FAE\r
  22         for <notmuch@notmuchmail.org>; Mon,  2 Jun 2014 06:51:05 -0700 (PDT)\r
  23 Received: from smtp.qmul.ac.uk ([138.37.6.40])\r
  24         by mail2.qmul.ac.uk with esmtp (Exim 4.71)\r
  25         (envelope-from <m.walters@qmul.ac.uk>)\r
  26         id 1WrSdj-0003eJ-4U; Mon, 02 Jun 2014 14:51:03 +0100\r
  27 Received: from 5751dfa2.skybroadband.com ([87.81.223.162] helo=localhost)\r
  28         by smtp.qmul.ac.uk with esmtpsa (TLSv1:AES128-SHA:128) (Exim 4.71)\r
  29         (envelope-from <m.walters@qmul.ac.uk>)\r
  30         id 1WrSdi-0005uz-Rf; Mon, 02 Jun 2014 14:51:03 +0100\r
  31 From: Mark Walters <markwalters1009@gmail.com>\r
  32 To: Vladimir Marek <Vladimir.Marek@oracle.com>, notmuch@notmuchmail.org\r
  33 Subject: Re: Deduplication ?\r
  34 In-Reply-To: <20140602123212.GA12639@virt.cz.oracle.com>\r
  35 References: <20140602123212.GA12639@virt.cz.oracle.com>\r
  36 User-Agent: Notmuch/0.15.2+615~g78e3a93 (http://notmuchmail.org) Emacs/23.4.1\r
  37         (i486-pc-linux-gnu)\r
  38 Date: Mon, 02 Jun 2014 14:51:01 +0100\r
  39 Message-ID: <87d2ers9mi.fsf@qmul.ac.uk>\r
  40 MIME-Version: 1.0\r
  41 Content-Type: text/plain; charset=us-ascii\r
  42 X-Sender-Host-Address: 87.81.223.162\r
  43 X-QM-Geographic: According to ripencc,\r
  44         this message was delivered by a machine in Britain (UK) (GB).\r
  45 X-QM-SPAM-Info: Sender has good ham record.  :)\r
  46 X-QM-Body-MD5: dd1566ba4e20a2890032dba656f3d5dc (of first 20000 bytes)\r
  47 X-SpamAssassin-Score: -0.1\r
  48 X-SpamAssassin-SpamBar: /\r
  49 X-SpamAssassin-Report: The QM spam filters have analysed this message to\r
  50         determine if it is\r
  51         spam. We require at least 5.0 points to mark a message as spam.\r
  52         This message scored -0.1 points.\r
  53         Summary of the scoring: \r
  54         * 0.0 FREEMAIL_FROM Sender email is commonly abused enduser mail\r
  55         provider *      (markwalters1009[at]gmail.com)\r
  56         * -0.1 AWL AWL: From: address is in the auto white-list\r
  57 X-QM-Scan-Virus: ClamAV says the message is clean\r
  58 X-BeenThere: notmuch@notmuchmail.org\r
  59 X-Mailman-Version: 2.1.13\r
  60 Precedence: list\r
  61 List-Id: "Use and development of the notmuch mail system."\r
  62         <notmuch.notmuchmail.org>\r
  63 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  64         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  65 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  66 List-Post: <mailto:notmuch@notmuchmail.org>\r
  67 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  68 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  69         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  70 X-List-Received-Date: Mon, 02 Jun 2014 13:51:13 -0000\r
  71 \r
  72 \r
  73 Vladimir Marek <Vladimir.Marek@oracle.com> writes:\r
  74 \r
  75 > Hi,\r
  76 >\r
  77 > I want to import bigger chunk of archived messages into my notmuch\r
  78 > database. It's about 100k messages. The problem is, that I most probably\r
  79 > have quite a lot of those messages in the DB. Basically I would like to\r
  80 > add only those I don't have already.\r
  81 >\r
  82 > There are two possibilities\r
  83 >\r
  84 > a) I will add all the 100k messages and then remove the duplicities.\r
  85 >\r
  86 > b) I will write a script which will parse the message ID's of the\r
  87 >    to-be-added messages and try to match them to the notmuch DB. Adding\r
  88 >    only files I can't find already.\r
  89 >\r
  90 > Ad b) might be better option, but I started to play with the idea of\r
  91 > deduplication. I'm thinking about listing all the message IDs stored in\r
  92 > DB, listing all files belonging to the IDs and deleting all but one.\r
  93 > Also I'm thinking about implementing some simple algorithm telling me\r
  94 > whether the messages are really very similar. Just to be sure I don't\r
  95 > delete something I don't want to.\r
  96 >\r
  97 > Was anyone playing with the idea?\r
  98 \r
  99 I am not sure what your use case is but notmuch automatically\r
 100 deduplicates: that is if the message-id is one it has already seen no\r
 101 further indexing takes place. The only thing that happens is the new\r
 102 filename gets added to the list of filenames for the message.\r
 103 \r
 104 Thus importing should be almost as fast as if the message were not\r
 105 there, and the database should be almost identical to what you would get\r
 106 if you only imported the genuine new messages.\r
 107 \r
 108 If you want to save disk space then you could delete the duplicates\r
 109 after with something like\r
 110 \r
 111 notmuch search --output=files --format=text0 --duplicate=2 '*' piped to\r
 112 xargs -0\r
 113 \r
 114 (but please test it carefully first!)\r
 115 \r
 116 I would think something like this is better than trying to parse the\r
 117 message-ids yourself.\r
 118 \r
 119 Best wishes\r
 120 \r
 121 Mark\r
 122 \r
 123 \r
 124 >\r
 125 > -- \r
 126 >       Vlad\r
 127 > _______________________________________________\r
 128 > notmuch mailing list\r
 129 > notmuch@notmuchmail.org\r
 130 > http://notmuchmail.org/mailman/listinfo/notmuch\r