0e/08a4d739c480eb8e938f5e5aab0f1902805988

   1 Return-Path: <rlb@defaultvalue.org>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5  by arlo.cworth.org (Postfix) with ESMTP id 9C42D6DE1AEA\r
   6  for <notmuch@notmuchmail.org>; Sat,  5 Sep 2015 12:13:05 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at cworth.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 0.393\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=0.393 tagged_above=-999 required=5 tests=[AWL=0.199, \r
  12  RP_MATCHES_RCVD=-0.55, URIBL_SBL=0.644, URIBL_SBL_A=0.1]\r
  13  autolearn=disabled\r
  14 Received: from arlo.cworth.org ([127.0.0.1])\r
  15  by localhost (arlo.cworth.org [127.0.0.1]) (amavisd-new, port 10024)\r
  16  with ESMTP id QAJhby6f67TD for <notmuch@notmuchmail.org>;\r
  17  Sat,  5 Sep 2015 12:13:03 -0700 (PDT)\r
  18 Received: from defaultvalue.org (defaultvalue.org [70.85.129.156])\r
  19  by arlo.cworth.org (Postfix) with ESMTP id 607B76DE1AE9\r
  20  for <notmuch@notmuchmail.org>; Sat,  5 Sep 2015 12:13:03 -0700 (PDT)\r
  21 Received: from trouble.defaultvalue.org (localhost [127.0.0.1])\r
  22  (Authenticated sender: rlb@defaultvalue.org)\r
  23  by defaultvalue.org (Postfix) with ESMTPSA id 2FB7621FD2;\r
  24  Sat,  5 Sep 2015 14:13:01 -0500 (CDT)\r
  25 Received: by trouble.defaultvalue.org (Postfix, from userid 1000)\r
  26  id A08B714E070; Sat,  5 Sep 2015 14:13:00 -0500 (CDT)\r
  27 From: Rob Browning <rlb@defaultvalue.org>\r
  28 To: David Bremner <david@tethera.net>, notmuch@notmuchmail.org\r
  29 Subject: Re: [PATCH 1/1] Store and search for canonical Unicode text [WIP]\r
  30 In-Reply-To: <87io7sw79j.fsf@trouble.defaultvalue.org>\r
  31 References: <1440951676-17286-1-git-send-email-rlb@defaultvalue.org>\r
  32  <87fv2we26p.fsf@maritornes.cs.unb.ca>\r
  33  <87io7sw79j.fsf@trouble.defaultvalue.org>\r
  34 User-Agent: Notmuch/0.20.1 (http://notmuchmail.org) Emacs/24.5.1\r
  35  (x86_64-pc-linux-gnu)\r
  36 Date: Sat, 05 Sep 2015 14:13:00 -0500\r
  37 Message-ID: <877fo4wugz.fsf@trouble.defaultvalue.org>\r
  38 MIME-Version: 1.0\r
  39 Content-Type: text/plain; charset=utf-8\r
  40 Content-Transfer-Encoding: quoted-printable\r
  41 X-BeenThere: notmuch@notmuchmail.org\r
  42 X-Mailman-Version: 2.1.18\r
  43 Precedence: list\r
  44 List-Id: "Use and development of the notmuch mail system."\r
  45  <notmuch.notmuchmail.org>\r
  46 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  47  <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  48 List-Archive: <http://notmuchmail.org/pipermail/notmuch/>\r
  49 List-Post: <mailto:notmuch@notmuchmail.org>\r
  50 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  51 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  52  <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  53 X-List-Received-Date: Sat, 05 Sep 2015 19:13:05 -0000\r
  54 \r
  55 Rob Browning <rlb@defaultvalue.org> writes:\r
  56 \r
  57 > David Bremner <david@tethera.net> writes:\r
  58 \r
  59 >> It seems plausible to specify UTF-8 input for the library, but what\r
  60 >> about the CLI? It seems like the canonicalization operation increases\r
  61 >> the chance of mangling user input in non-UTF-8 locales.\r
  62 >\r
  63 > Yes, the key question: what does notmuch intend?  i.e. given a sequence\r
  64 > of bytes, how will notmuch interpret them?  I think we should decide\r
  65 > that, and document it clearly somewhere.\r
  66 >\r
  67 > The commit message describes my understanding of how things currently\r
  68 > work, and if/when I get time, I'd like to propose some related\r
  69 > documentation updates (perhaps to notmuch-search-terms or\r
  70 > notmuch-insert/new?).\r
  71 >\r
  72 > Oh, and if I do understand things correctly, notmuch may already stand a\r
  73 > chance of mangling any bytes that aren't an invalid UTF-8 byte sequence,\r
  74 > but also aren't actually in UTF-8 (excepting encodings that are a strict\r
  75 > subset of UTF-8, like ASCII).\r
  76 >\r
  77 > For example (if I did this right), [0xd1 0xa1] is valid UTF-8, producing\r
  78 > omega "=D1=A1", and also valid Latin-1, producing "=C3=91=C2=A1".\r
  79 \r
  80 So on this particular point, I'm perhaps too used to thinking about the\r
  81 general encoding problem, and wasn't thinking about our specific\r
  82 constraints.\r
  83 \r
  84 If (1) "normal" message bodies are required to be US-ASCII (which I'd\r
  85 neglected to remember might be the case), and (2) MIME handles the rest,\r
  86 then perhaps notmuch will only receive raw bytes via user input\r
  87 (i.e. query strings, etc.).\r
  88 \r
  89 In which case, we could just document that notmuch interprets user input\r
  90 as UTF-8 (and we might or might not mention the Latin-1 fallback).\r
  91 \r
  92 Later locale support could be added if desired, and none of this would\r
  93 involve the quite nasty problem of encoding detection.\r
  94 \r
  95 --=20\r
  96 Rob Browning\r
  97 rlb @defaultvalue.org and @debian.org\r
  98 GPG as of 2011-07-10 E6A9 DA3C C9FD 1FF8 C676 D2C4 C0F0 39E9 ED1B 597A\r
  99 GPG as of 2002-11-03 14DD 432F AE39 534D B592 F9A0 25C8 D377 8C7E 73A4\r