1f/6a19e6b5eab6319e0931a63aa4286bc82ba4a0

   1 Return-Path: <david@tethera.net>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5  by arlo.cworth.org (Postfix) with ESMTP id 619BE6DE1868\r
   6  for <notmuch@notmuchmail.org>; Mon, 14 Mar 2016 04:49:44 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at cworth.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.031\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.031 tagged_above=-999 required=5\r
  12  tests=[AWL=-0.020, SPF_PASS=-0.001, T_RP_MATCHES_RCVD=-0.01]\r
  13  autolearn=disabled\r
  14 Received: from arlo.cworth.org ([127.0.0.1])\r
  15  by localhost (arlo.cworth.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16  with ESMTP id x571wJW0eGWI for <notmuch@notmuchmail.org>;\r
  17  Mon, 14 Mar 2016 04:49:42 -0700 (PDT)\r
  18 Received: from fethera.tethera.net (fethera.tethera.net [198.245.60.197])\r
  19  by arlo.cworth.org (Postfix) with ESMTPS id 3D1C46DE1862\r
  20  for <notmuch@notmuchmail.org>; Mon, 14 Mar 2016 04:49:42 -0700 (PDT)\r
  21 Received: from remotemail by fethera.tethera.net with local (Exim 4.84)\r
  22  (envelope-from <david@tethera.net>)\r
  23  id 1afR0p-0005LI-JP; Mon, 14 Mar 2016 07:50:15 -0400\r
  24 Received: (nullmailer pid 12910 invoked by uid 1000);\r
  25  Mon, 14 Mar 2016 11:49:36 -0000\r
  26 From: David Bremner <david@tethera.net>\r
  27 To: David Edmondson <dme@dme.org>, Mark Walters <markwalters1009@gmail.com>,\r
  28  notmuch@notmuchmail.org\r
  29 Subject: Re: [PATCH v1 0/3] Improve the acquisition of text parts.\r
  30 In-Reply-To: <m2pouxqx3e.fsf@dme.org>\r
  31 References: <1457457179-4707-1-git-send-email-dme@dme.org>\r
  32  <87ziu2s8rb.fsf@qmul.ac.uk> <m2pouxqx3e.fsf@dme.org>\r
  33 User-Agent: Notmuch/0.21+74~g6c60fb1 (http://notmuchmail.org) Emacs/24.5.1\r
  34  (x86_64-pc-linux-gnu)\r
  35 Date: Mon, 14 Mar 2016 08:49:36 -0300\r
  36 Message-ID: <87bn6h5lf3.fsf@zancas.localnet>\r
  37 MIME-Version: 1.0\r
  38 Content-Type: text/plain\r
  39 X-BeenThere: notmuch@notmuchmail.org\r
  40 X-Mailman-Version: 2.1.20\r
  41 Precedence: list\r
  42 List-Id: "Use and development of the notmuch mail system."\r
  43  <notmuch.notmuchmail.org>\r
  44 List-Unsubscribe: <https://notmuchmail.org/mailman/options/notmuch>,\r
  45  <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  46 List-Archive: <http://notmuchmail.org/pipermail/notmuch/>\r
  47 List-Post: <mailto:notmuch@notmuchmail.org>\r
  48 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  49 List-Subscribe: <https://notmuchmail.org/mailman/listinfo/notmuch>,\r
  50  <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  51 X-List-Received-Date: Mon, 14 Mar 2016 11:49:44 -0000\r
  52 \r
  53 David Edmondson <dme@dme.org> writes:\r
  54 \r
  55 > On Sun, Mar 13 2016, Mark Walters wrote:\r
  56 >> However, it would be sensible to get testing in a greater variety of\r
  57 >> charsets/encodings\r
  58 >\r
  59 > Agreed. Does anyone have suggestions on how we might achieve this? A\r
  60 > corpus of mail that we could use?\r
  61 \r
  62 Maybe the notmuch performance corpus, particularly the lkml sample.\r
  63 \r
  64 grep -R charset= performance-test/corpus/mail/lkml | sed -e 's/^.*charset=//' -e 's/;.*//' -e 's/"//g' | tr '[A-Z]' '[a-z]' | sort -u\r
  65 \r
  66 gives\r
  67 \r
  68 euc-kr\r
  69 gb2312\r
  70 iso-2022-jp\r
  71 iso-2022-jp-2\r
  72 iso-8859-1\r
  73 iso-8859-14\r
  74 iso 8859-15\r
  75 iso-8859-15\r
  76 iso-8859-1\r
  77 iso-8859-2\r
  78 iso-8859-6\r
  79 iso-8859-7\r
  80 iso-8859-9\r
  81 koi8-r\r
  82 koi8-u\r
  83 ks_c_5601-1987\r
  84 shift_jis\r
  85 unknown\r
  86 unknown-8bit\r
  87 us-ascii\r
  88 utf8\r
  89 utf-8\r
  90 windows-1250\r
  91 windows-1251\r
  92 windows-1252\r
  93 windows-1255\r
  94 \r
  95 \r
  96 to unpack the corpus\r
  97 \r
  98 cd performance-test\r
  99 make download-corpus\r
 100 ./T00-new.sh --large\r
 101 \r
 102 probably interrupt the test once notmuch-new starts running.\r
 103 \r