[PATCH] lib: resurrect support for single-message mbox files
authorJani Nikula <jani@nikula.org>
Thu, 5 Jun 2014 06:34:09 +0000 (08:34 +0200)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 18:03:09 +0000 (10:03 -0800)
15/9586743533b3d021bd447b0dfe337b9457cf79 [new file with mode: 0644]

diff --git a/15/9586743533b3d021bd447b0dfe337b9457cf79 b/15/9586743533b3d021bd447b0dfe337b9457cf79
new file mode 100644 (file)
index 0000000..c5bd627
--- /dev/null
@@ -0,0 +1,204 @@
+Return-Path: <jani@nikula.org>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id 75760431FBC\r
+       for <notmuch@notmuchmail.org>; Wed,  4 Jun 2014 23:34:09 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: -0.7\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
+       tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id k9LzwSGKY-Mu for <notmuch@notmuchmail.org>;\r
+       Wed,  4 Jun 2014 23:34:01 -0700 (PDT)\r
+Received: from mail-we0-f172.google.com (mail-we0-f172.google.com\r
+       [74.125.82.172]) (using TLSv1 with cipher RC4-SHA (128/128 bits))\r
+       (No client certificate requested)\r
+       by olra.theworths.org (Postfix) with ESMTPS id 5B88B431FB6\r
+       for <notmuch@notmuchmail.org>; Wed,  4 Jun 2014 23:34:01 -0700 (PDT)\r
+Received: by mail-we0-f172.google.com with SMTP id k48so532662wev.17\r
+       for <notmuch@notmuchmail.org>; Wed, 04 Jun 2014 23:33:59 -0700 (PDT)\r
+X-Google-DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed;\r
+       d=1e100.net; s=20130820;\r
+       h=x-gm-message-state:from:to:cc:subject:date:message-id;\r
+       bh=X02PNLURP2Abu/qUtRjTFSJkNCwLdcHDPXw7O1Es2kU=;\r
+       b=RbSFhrJPsBj03qOzPywOJavZzijxQa6WwNtc+cOWEAcsEpbk7VlvtEJwltLQV2QM+l\r
+       DQ80xGNTPwWfVxiu5BOnGgaXt/qT7sGsFEEOhWgY6h2M4jDTnQCGZ18i1p+a/N3NYSF0\r
+       oH3eRMb2nWdnNk0kPUJXHNXiO5L4zVY+7iY+s6q0+1yUPcVZKlPyht5RJtG4SSvfcVVz\r
+       romAid6CpCz0bJNIgEQoKOZ0QXjCO1ciPRme7yDHBK/3NEasYiS5dkjCVk0j45uD/sy6\r
+       dcLmdEa6v0tCIyA0p7ZrRcKuNmCJ8zmSl+vvgkOj0bf7SHR5CYIrLCAWiml1HJRE+JVw\r
+       SWHQ==\r
+X-Gm-Message-State:\r
+ ALoCoQkQreoi/toksieDz2U+qzKwo52wz4DcrgLOoVImwI2rXhvvyKGY/LX1PM0V6EKxQ9wxpOOd\r
+X-Received: by 10.194.81.98 with SMTP id z2mr79399580wjx.12.1401950038787;\r
+       Wed, 04 Jun 2014 23:33:58 -0700 (PDT)\r
+Received: from localhost ([2001:4b98:dc0:43:216:3eff:fe1b:25f3])\r
+       by mx.google.com with ESMTPSA id p15sm52305473wiv.8.2014.06.04.23.33.57\r
+       for <multiple recipients>\r
+       (version=TLSv1.1 cipher=RC4-SHA bits=128/128);\r
+       Wed, 04 Jun 2014 23:33:58 -0700 (PDT)\r
+From: Jani Nikula <jani@nikula.org>\r
+To: notmuch@notmuchmail.org\r
+Subject: [PATCH] lib: resurrect support for single-message mbox files\r
+Date: Thu,  5 Jun 2014 08:34:09 +0200\r
+Message-Id: <1401950049-22351-1-git-send-email-jani@nikula.org>\r
+X-Mailer: git-send-email 1.7.2.5\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Thu, 05 Jun 2014 06:34:09 -0000\r
+\r
+This is effectively a revert of\r
+\r
+commit 6812136bf576d894591606d9e10096719054d1f9\r
+Author: Jani Nikula <jani@nikula.org>\r
+Date:   Mon Mar 31 00:21:48 2014 +0300\r
+\r
+    lib: drop support for single-message mbox files\r
+\r
+The intention was to drop support for indexing new single-message mbox\r
+files (and whether that was a good idea in the first place is\r
+arguable). However this inadvertently broke support for reading\r
+headers from previously indexed single-message mbox files, which is\r
+far worse.\r
+\r
+Distinguishing between the two cases would require more code than\r
+simply bringing back support for single-message mbox files.\r
+---\r
+ lib/message-file.c |   30 +++++++++++++++++++++++++-----\r
+ test/T050-new.sh   |   26 ++++++++++++++++----------\r
+ 2 files changed, 41 insertions(+), 15 deletions(-)\r
+\r
+diff --git a/lib/message-file.c b/lib/message-file.c\r
+index 6782882..483ba1e 100644\r
+--- a/lib/message-file.c\r
++++ b/lib/message-file.c\r
+@@ -117,7 +117,7 @@ notmuch_message_file_close (notmuch_message_file_t *message)\r
+ }\r
\r
+ static notmuch_bool_t\r
+-is_mbox (FILE *file)\r
++_is_mbox (FILE *file)\r
+ {\r
+     char from_buf[5];\r
+     notmuch_bool_t ret = FALSE;\r
+@@ -139,13 +139,12 @@ _notmuch_message_file_parse (notmuch_message_file_t *message)\r
+     GMimeParser *parser;\r
+     notmuch_status_t status = NOTMUCH_STATUS_SUCCESS;\r
+     static int initialized = 0;\r
++    notmuch_bool_t is_mbox;\r
\r
+     if (message->message)\r
+       return NOTMUCH_STATUS_SUCCESS;\r
\r
+-    /* We no longer support mboxes at all. */\r
+-    if (is_mbox (message->file))\r
+-      return NOTMUCH_STATUS_FILE_NOT_EMAIL;\r
++    is_mbox = _is_mbox (message->file);\r
\r
+     if (! initialized) {\r
+       g_mime_init (GMIME_ENABLE_RFC2047_WORKAROUNDS);\r
+@@ -163,7 +162,7 @@ _notmuch_message_file_parse (notmuch_message_file_t *message)\r
+     g_mime_stream_file_set_owner (GMIME_STREAM_FILE (stream), FALSE);\r
\r
+     parser = g_mime_parser_new_with_stream (stream);\r
+-    g_mime_parser_set_scan_from (parser, FALSE);\r
++    g_mime_parser_set_scan_from (parser, is_mbox);\r
\r
+     message->message = g_mime_parser_construct_message (parser);\r
+     if (! message->message) {\r
+@@ -171,6 +170,27 @@ _notmuch_message_file_parse (notmuch_message_file_t *message)\r
+       goto DONE;\r
+     }\r
\r
++    if (is_mbox) {\r
++      if (! g_mime_parser_eos (parser)) {\r
++          /* This is a multi-message mbox. */\r
++          status = NOTMUCH_STATUS_FILE_NOT_EMAIL;\r
++          goto DONE;\r
++      }\r
++      /*\r
++       * For historical reasons, we support single-message mboxes,\r
++       * but this behavior is likely to change in the future, so\r
++       * warn.\r
++       */\r
++      static notmuch_bool_t mbox_warning = FALSE;\r
++      if (! mbox_warning) {\r
++          mbox_warning = TRUE;\r
++          fprintf (stderr, "\\r
++Warning: %s is an mbox containing a single message,\n\\r
++likely caused by misconfigured mail delivery.  Support for single-message\n\\r
++mboxes is deprecated and may be removed in the future.\n", message->filename);\r
++      }\r
++    }\r
++\r
+   DONE:\r
+     g_object_unref (stream);\r
+     g_object_unref (parser);\r
+diff --git a/test/T050-new.sh b/test/T050-new.sh\r
+index 3c31954..ad46ee6 100755\r
+--- a/test/T050-new.sh\r
++++ b/test/T050-new.sh\r
+@@ -163,6 +163,22 @@ rm -rf "${MAIL_DIR}"/two\r
+ output=$(NOTMUCH_NEW)\r
+ test_expect_equal "$output" "No new mail. Removed 3 messages."\r
\r
++test_begin_subtest "Support single-message mbox (deprecated)"\r
++cat > "${MAIL_DIR}"/mbox_file1 <<EOF\r
++From test_suite@notmuchmail.org Fri Jan  5 15:43:57 2001\r
++From: Notmuch Test Suite <test_suite@notmuchmail.org>\r
++To: Notmuch Test Suite <test_suite@notmuchmail.org>\r
++Subject: Test mbox message 1\r
++\r
++Body.\r
++EOF\r
++output=$(NOTMUCH_NEW 2>&1)\r
++test_expect_equal "$output" \\r
++"Warning: ${MAIL_DIR}/mbox_file1 is an mbox containing a single message,\r
++likely caused by misconfigured mail delivery.  Support for single-message\r
++mboxes is deprecated and may be removed in the future.\r
++Added 1 new message to the database."\r
++\r
+ # This test requires that notmuch new has been run at least once.\r
+ test_begin_subtest "Skip and report non-mail files"\r
+ generate_message\r
+@@ -184,24 +200,14 @@ Subject: Test mbox message 2\r
\r
+ Body 2.\r
+ EOF\r
+-cat > "${MAIL_DIR}"/mbox_file1 <<EOF\r
+-From test_suite@notmuchmail.org Fri Jan  5 15:43:57 2001\r
+-From: Notmuch Test Suite <test_suite@notmuchmail.org>\r
+-To: Notmuch Test Suite <test_suite@notmuchmail.org>\r
+-Subject: Test mbox message 1\r
+-\r
+-Body.\r
+-EOF\r
+ output=$(NOTMUCH_NEW 2>&1)\r
+ test_expect_equal "$output" \\r
+ "Note: Ignoring non-mail file: ${MAIL_DIR}/.git/config\r
+ Note: Ignoring non-mail file: ${MAIL_DIR}/.ignored_hidden_file\r
+ Note: Ignoring non-mail file: ${MAIL_DIR}/ignored_file\r
+ Note: Ignoring non-mail file: ${MAIL_DIR}/mbox_file\r
+-Note: Ignoring non-mail file: ${MAIL_DIR}/mbox_file1\r
+ Added 1 new message to the database."\r
+ rm "${MAIL_DIR}"/mbox_file\r
+-rm "${MAIL_DIR}"/mbox_file1\r
\r
+ test_begin_subtest "Ignore files and directories specified in new.ignore"\r
+ generate_message\r
+-- \r
+1.7.2.5\r
+\r