header continuation issue in notmuch frontend/alot/pythons email module
authorJustus Winter <4winter@informatik.uni-hamburg.de>
Sun, 23 Jun 2013 13:11:45 +0000 (15:11 +0200)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 17:55:41 +0000 (09:55 -0800)
0f/e29a5b9d5843093128764382e749da17de5fd6 [new file with mode: 0644]

diff --git a/0f/e29a5b9d5843093128764382e749da17de5fd6 b/0f/e29a5b9d5843093128764382e749da17de5fd6
new file mode 100644 (file)
index 0000000..fa145f8
--- /dev/null
@@ -0,0 +1,128 @@
+Return-Path: <teythoon@jade-hamburg.de>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id 297D3431FB6\r
+       for <notmuch@notmuchmail.org>; Sun, 23 Jun 2013 06:12:09 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: 0\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=0 tagged_above=-999 required=5 tests=[none]\r
+       autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id ibOtpzha0IDc for <notmuch@notmuchmail.org>;\r
+       Sun, 23 Jun 2013 06:11:59 -0700 (PDT)\r
+Received: from mail.cryptobitch.de (cryptobitch.de [88.198.7.68])\r
+       (using TLSv1 with cipher ADH-AES256-SHA (256/256 bits))\r
+       (No client certificate requested)\r
+       by olra.theworths.org (Postfix) with ESMTPS id 1527D431FAE\r
+       for <notmuch@notmuchmail.org>; Sun, 23 Jun 2013 06:11:59 -0700 (PDT)\r
+Received: from mail.jade-hamburg.de (mail.jade-hamburg.de [85.183.11.228])\r
+       (using TLSv1 with cipher ADH-AES256-SHA (256/256 bits))\r
+       (No client certificate requested)\r
+       by mail.cryptobitch.de (Postfix) with ESMTPSA id 3FF53691410\r
+       for <notmuch@notmuchmail.org>; Sun, 23 Jun 2013 15:11:56 +0200 (CEST)\r
+Received: by mail.jade-hamburg.de (Postfix, from userid 401)\r
+       id B693BDF2A4; Sun, 23 Jun 2013 15:11:55 +0200 (CEST)\r
+Received: from thinkbox.jade-hamburg.de (unknown\r
+       [IPv6:2002:55b7:be4:1:216:d3ff:fe3e:5058])\r
+       (using TLSv1 with cipher DHE-RSA-AES128-SHA (128/128 bits))\r
+       (No client certificate requested) (Authenticated sender: teythoon)\r
+       by mail.jade-hamburg.de (Postfix) with ESMTPSA id A7E24DF29F\r
+       for <notmuch@notmuchmail.org>; Sun, 23 Jun 2013 15:11:46 +0200 (CEST)\r
+Received: from teythoon by thinkbox.jade-hamburg.de with local (Exim 4.80)\r
+       (envelope-from <teythoon@thinkbox.jade-hamburg.de>)\r
+       id 1Uqk54-0000xC-7F\r
+       for notmuch@notmuchmail.org; Sun, 23 Jun 2013 15:11:46 +0200\r
+Content-Type: text/plain; charset="utf-8"\r
+MIME-Version: 1.0\r
+Content-Transfer-Encoding: quoted-printable\r
+To: notmuch mailing list <notmuch@notmuchmail.org>\r
+Message-ID: <20130623131145.2526.439@thinkbox.jade-hamburg.de>\r
+From: Justus Winter <4winter@informatik.uni-hamburg.de>\r
+User-Agent: alot/0.3.4\r
+Subject: header continuation issue in notmuch frontend/alot/pythons email\r
+       module\r
+Date: Sun, 23 Jun 2013 15:11:45 +0200\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Sun, 23 Jun 2013 13:12:09 -0000\r
+\r
+Hi,\r
+\r
+I recently had a problem replying to a mail written by Thomas Schwinge\r
+using an oldish notmuch. Not sure if it has been fixed in more recent\r
+versions, but I think notmuch could improve uppon its header\r
+generation (see below). Problematic part of the mail:\r
+\r
+~~~ snip ~~~\r
+[...]\r
+To: someone@example.org, "line\r
+ break" <linebreak@example.org>, someoneelse@example.org\r
+User-Agent: Notmuch/0.9-101-g81dad07 (http://notmuchmail.org) Emacs/23.4.1 =\r
+(i486-pc-linux-gnu)\r
+[...]\r
+~~~ snap ~~~\r
+\r
+http://tools.ietf.org/html/rfc2822#section-2.2.3 says:\r
+\r
+   Note: Though structured field bodies are defined in such a way that\r
+   folding can take place between many of the lexical tokens (and even\r
+   within some of the lexical tokens), folding SHOULD be limited to\r
+   placing the CRLF at higher-level syntactic breaks.  For instance, if\r
+   a field body is defined as comma-separated values, it is recommended\r
+   that folding occur after the comma separating the structured items in\r
+   preference to other places where the field could be folded, even if\r
+   it is allowed elsewhere.\r
+\r
+So notmuch "rfc-SHOULD" place the newlines after the comma.\r
+\r
+The rfc goes on:\r
+\r
+   The process of moving from this folded multiple-line representation\r
+   of a header field to its single line representation is called\r
+   "unfolding". Unfolding is accomplished by simply removing any CRLF\r
+   that is immediately followed by WSP.  Each header field should be\r
+   treated in its unfolded form for further syntactic and semantic\r
+   evaluation.\r
+\r
+My interpretation is that unfolding simply removes any linebreaks\r
+first, so the value does not contain any newlines. But pythons email\r
+module discriminates quoted and unquoted parts of the value:\r
+\r
+~~~ snip ~~~\r
+from __future__ import print_function\r
+import email\r
+from email.utils import getaddresses\r
+\r
+m =3D email.message_from_string('''To: "line\r
+ break" <linebreak@example.org>, line\r
+ break <linebreak@example.org>''')\r
+print("m['To'] =3D ", m['To'])\r
+print("getaddresses(m.get_all('To')) =3D ", getaddresses(m.get_all('To')))\r
+~~~ snap ~~~\r
+\r
+% python3 test.py\r
+m['To'] =3D  "line\r
+ break" <linebreak@example.org>, line\r
+ break <linebreak@example.org>\r
+getaddresses(m.get_all('To')) =3D  [('line\n break', 'linebreak@example.org=\r
+'), ('line break', 'linebreak@example.org')]\r
+\r
+I believe that is what's preventing me from replying to the message\r
+using alot without sanitizing the To header first. Not really sure who\r
+is wrong or right here... any thoughts?\r
+\r
+Justus\r