15/8be61ed4bcbaa6841092ef1330fdcea8db92fd

   1 Return-Path: <m.walters@qmul.ac.uk>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 18B4E431FAF\r
   6         for <notmuch@notmuchmail.org>; Mon,  2 Jun 2014 07:10:41 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 0.502\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=0.502 tagged_above=-999 required=5\r
  12         tests=[DKIM_ADSP_CUSTOM_MED=0.001, FREEMAIL_FROM=0.001,\r
  13         NML_ADSP_CUSTOM_MED=1.2, RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  14 Received: from olra.theworths.org ([127.0.0.1])\r
  15         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16         with ESMTP id t2db5YChqkBC for <notmuch@notmuchmail.org>;\r
  17         Mon,  2 Jun 2014 07:10:33 -0700 (PDT)\r
  18 Received: from mail2.qmul.ac.uk (mail2.qmul.ac.uk [138.37.6.6])\r
  19         (using TLSv1 with cipher DHE-RSA-AES256-SHA (256/256 bits))\r
  20         (No client certificate requested)\r
  21         by olra.theworths.org (Postfix) with ESMTPS id F2645431FAE\r
  22         for <notmuch@notmuchmail.org>; Mon,  2 Jun 2014 07:10:32 -0700 (PDT)\r
  23 Received: from smtp.qmul.ac.uk ([138.37.6.40])\r
  24         by mail2.qmul.ac.uk with esmtp (Exim 4.71)\r
  25         (envelope-from <m.walters@qmul.ac.uk>)\r
  26         id 1WrSwZ-00013N-5e; Mon, 02 Jun 2014 15:10:31 +0100\r
  27 Received: from 5751dfa2.skybroadband.com ([87.81.223.162] helo=localhost)\r
  28         by smtp.qmul.ac.uk with esmtpsa (TLSv1:AES128-SHA:128) (Exim 4.71)\r
  29         (envelope-from <m.walters@qmul.ac.uk>)\r
  30         id 1WrSwY-0001Yg-Rf; Mon, 02 Jun 2014 15:10:30 +0100\r
  31 From: Mark Walters <markwalters1009@gmail.com>\r
  32 To: Vladimir Marek <Vladimir.Marek@oracle.com>,\r
  33         David Edmondson <david.edmondson@oracle.com>\r
  34 Subject: Re: Deduplication ?\r
  35 In-Reply-To: <20140602135438.GA8223@virt.cz.oracle.com>\r
  36 References: <20140602123212.GA12639@virt.cz.oracle.com>\r
  37         <cuniooj1l68.fsf@gargravarr.hh.sledj.net>\r
  38         <20140602135438.GA8223@virt.cz.oracle.com>\r
  39 User-Agent: Notmuch/0.15.2+615~g78e3a93 (http://notmuchmail.org) Emacs/23.4.1\r
  40         (i486-pc-linux-gnu)\r
  41 Date: Mon, 02 Jun 2014 15:10:30 +0100\r
  42 Message-ID: <871tv7s8q1.fsf@qmul.ac.uk>\r
  43 MIME-Version: 1.0\r
  44 Content-Type: text/plain; charset=us-ascii\r
  45 X-Sender-Host-Address: 87.81.223.162\r
  46 X-QM-Geographic: According to ripencc,\r
  47         this message was delivered by a machine in Britain (UK) (GB).\r
  48 X-QM-SPAM-Info: Sender has good ham record.  :)\r
  49 X-QM-Body-MD5: f411ff153fb12459d0d92579f3c5f13a (of first 20000 bytes)\r
  50 X-SpamAssassin-Score: -0.1\r
  51 X-SpamAssassin-SpamBar: /\r
  52 X-SpamAssassin-Report: The QM spam filters have analysed this message to\r
  53         determine if it is\r
  54         spam. We require at least 5.0 points to mark a message as spam.\r
  55         This message scored -0.1 points.\r
  56         Summary of the scoring: \r
  57         * 0.0 FREEMAIL_FROM Sender email is commonly abused enduser mail\r
  58         provider *      (markwalters1009[at]gmail.com)\r
  59         * -0.1 AWL AWL: From: address is in the auto white-list\r
  60 X-QM-Scan-Virus: ClamAV says the message is clean\r
  61 Cc: notmuch@notmuchmail.org\r
  62 X-BeenThere: notmuch@notmuchmail.org\r
  63 X-Mailman-Version: 2.1.13\r
  64 Precedence: list\r
  65 List-Id: "Use and development of the notmuch mail system."\r
  66         <notmuch.notmuchmail.org>\r
  67 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  68         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  69 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  70 List-Post: <mailto:notmuch@notmuchmail.org>\r
  71 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  72 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  73         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  74 X-List-Received-Date: Mon, 02 Jun 2014 14:10:41 -0000\r
  75 \r
  76 \r
  77 Vladimir Marek <Vladimir.Marek@oracle.com> writes:\r
  78 \r
  79 >> > I want to import bigger chunk of archived messages into my notmuch\r
  80 >> > database. It's about 100k messages. The problem is, that I most probably\r
  81 >> > have quite a lot of those messages in the DB. Basically I would like to\r
  82 >> > add only those I don't have already.\r
  83 >> >\r
  84 >> > There are two possibilities\r
  85 >> >\r
  86 >> > a) I will add all the 100k messages and then remove the duplicities.\r
  87 >> >\r
  88 >> > b) I will write a script which will parse the message ID's of the\r
  89 >> >    to-be-added messages and try to match them to the notmuch DB. Adding\r
  90 >> >    only files I can't find already.\r
  91 >> >\r
  92 >> > Ad b) might be better option, but I started to play with the idea of\r
  93 >> > deduplication. I'm thinking about listing all the message IDs stored in\r
  94 >> > DB, listing all files belonging to the IDs and deleting all but one.\r
  95 >> > Also I'm thinking about implementing some simple algorithm telling me\r
  96 >> > whether the messages are really very similar. Just to be sure I don't\r
  97 >> > delete something I don't want to.\r
  98 >> >\r
  99 >> > Was anyone playing with the idea?\r
 100 >> \r
 101 >> notsync[1] used the (lack of) existence of a message id in the store to\r
 102 >> decide whether to add something from an IMAP server, but it is old,\r
 103 >> crufty, unused and unloved code.\r
 104 >\r
 105 > I see, that's close to my b) solution, thanks!\r
 106 \r
 107 Did you mean a) here? The idea was to add them all first and then run\r
 108 this script to delete the duplicates.\r
 109 \r
 110 Best wishes\r
 111 \r
 112 Mark\r
 113 \r
 114 > -- \r
 115 >       Vlad\r
 116 > _______________________________________________\r
 117 > notmuch mailing list\r
 118 > notmuch@notmuchmail.org\r
 119 > http://notmuchmail.org/mailman/listinfo/notmuch\r