[PATCH v2 00/11] Fix search tagging races
authorAustin Clements <amdragon@MIT.EDU>
Thu, 24 Oct 2013 15:19:00 +0000 (11:19 +2000)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 17:57:35 +0000 (09:57 -0800)
7c/6a9dbee4d374b3b30a3350d9e6694c55e8857b [new file with mode: 0644]

diff --git a/7c/6a9dbee4d374b3b30a3350d9e6694c55e8857b b/7c/6a9dbee4d374b3b30a3350d9e6694c55e8857b
new file mode 100644 (file)
index 0000000..86b40e8
--- /dev/null
@@ -0,0 +1,177 @@
+Return-Path: <amdragon@mit.edu>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id 13BED429E41\r
+       for <notmuch@notmuchmail.org>; Thu, 24 Oct 2013 08:19:29 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: -0.7\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
+       tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id ZlePl1tjfEBZ for <notmuch@notmuchmail.org>;\r
+       Thu, 24 Oct 2013 08:19:24 -0700 (PDT)\r
+Received: from dmz-mailsec-scanner-8.mit.edu (dmz-mailsec-scanner-8.mit.edu\r
+       [18.7.68.37])\r
+       by olra.theworths.org (Postfix) with ESMTP id CAE22429E42\r
+       for <notmuch@notmuchmail.org>; Thu, 24 Oct 2013 08:19:19 -0700 (PDT)\r
+X-AuditID: 12074425-b7f1c8e0000009c7-ea-52693a7472ef\r
+Received: from mailhub-auth-3.mit.edu ( [18.9.21.43])\r
+       by dmz-mailsec-scanner-8.mit.edu (Symantec Messaging Gateway) with SMTP\r
+       id 57.31.02503.47A39625; Thu, 24 Oct 2013 11:19:16 -0400 (EDT)\r
+Received: from outgoing.mit.edu (outgoing-auth-1.mit.edu [18.9.28.11])\r
+       by mailhub-auth-3.mit.edu (8.13.8/8.9.2) with ESMTP id r9OFJE6a030431; \r
+       Thu, 24 Oct 2013 11:19:15 -0400\r
+Received: from drake.dyndns.org\r
+       (216-15-114-40.c3-0.arl-ubr1.sbo-arl.ma.cable.rcn.com\r
+       [216.15.114.40]) (authenticated bits=0)\r
+       (User authenticated as amdragon@ATHENA.MIT.EDU)\r
+       by outgoing.mit.edu (8.13.8/8.12.4) with ESMTP id r9OFJCvY012905\r
+       (version=TLSv1/SSLv3 cipher=AES256-SHA bits=256 verify=NOT);\r
+       Thu, 24 Oct 2013 11:19:14 -0400\r
+Received: from amthrax by drake.dyndns.org with local (Exim 4.77)\r
+       (envelope-from <amdragon@mit.edu>)\r
+       id 1VZMgq-0006dh-Kp; Thu, 24 Oct 2013 11:19:12 -0400\r
+From: Austin Clements <amdragon@MIT.EDU>\r
+To: notmuch@notmuchmail.org\r
+Subject: [PATCH v2 00/11] Fix search tagging races\r
+Date: Thu, 24 Oct 2013 11:19:00 -0400\r
+Message-Id: <1382627951-25252-1-git-send-email-amdragon@mit.edu>\r
+X-Mailer: git-send-email 1.8.4.rc3\r
+X-Brightmail-Tracker:\r
+ H4sIAAAAAAAAA+NgFlrDIsWRmVeSWpSXmKPExsUixCmqrVtilRlksPituEXTdGeL1XN5LK7f\r
+       nMnswOyxc9Zddo9b91+zezxbdYs5gDmKyyYlNSezLLVI3y6BK2Pdv27Wgm6Viocv+hgbGNtl\r
+       uxg5OCQETCSaprh2MXICmWISF+6tZ+ti5OIQEtjHKLFscxsjhLORUaK1+T47SJWQwB0mie8f\r
+       ZSEScxkl3hzfwgySYBPQkNi2fzkjiC0iIC2x8+5sVhCbWUBPYsvDzWC2sICRxPwrr8BqWARU\r
+       JdreQwzlFXCQePGsgQ3iDCWJhae2sU5g5F3AyLCKUTYlt0o3NzEzpzg1Wbc4OTEvL7VI10Iv\r
+       N7NELzWldBMjKFDYXVR3ME44pHSIUYCDUYmHt+FTepAQa2JZcWXuIUZJDiYlUd57pplBQnxJ\r
+       +SmVGYnFGfFFpTmpxYcYJTiYlUR4p+kB5XhTEiurUovyYVLSHCxK4ry3OOyDhATSE0tSs1NT\r
+       C1KLYLIyHBxKErz/LIEaBYtS01Mr0jJzShDSTBycIMN5gIbfA6nhLS5IzC3OTIfIn2JUlBLn\r
+       5QXGopAASCKjNA+uFxbJrxjFgV4R5v0A0s4DTAJw3a+ABjMBDZ6yJA1kcEkiQkqqgZF5zqO2\r
+       4u47i3bNO5jxSuH30+OKQcc3nz4YZr557Zu39xzTt7A53lU9K3eL+3nvqf9aGh8K/dhsT7H1\r
+       1qx7z3VzQeeCpvqXPcy8p8oyTnw/LhvdvyPvw/Kd3ilSm+pufhMQzjwf69Qe4Be730GtR8l4\r
+       hdzGU2tSXGoMEmosX9cw/w52WuS/I0qJpTgj0VCLuag4EQBndZoOvwIAAA==\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Thu, 24 Oct 2013 15:19:29 -0000\r
+\r
+This is v2 of id:1381185201-25197-1-git-send-email-amdragon@mit.edu.\r
+It fixes several comments from Mark and Jani.  This has been rebased\r
+on top of the tag completion changes, so doing * from a large search\r
+buffer will no longer crash.  Hence, this series depends on the\r
+(currently pending) series in\r
+id:1382487721-31776-1-git-send-email-amdragon@mit.edu.\r
+\r
+This version does not address what happens when you * on a search\r
+buffer that's still filling.  With this series, it will apply to all\r
+messages that have appeared when the user finishes entering tag\r
+changes.  This isn't ideal, but this seems pretty obscure and I'm not\r
+sure what the right answer is, so I'm punting it to the future.\r
+\r
+Another thing that may be worth changing in a follow-up is what\r
+messages * applies to.  Currently, * applies *only* to matched\r
+messages, not all threads in the search, which I think was an accident\r
+of implementation.  This series retains that behavior, but opens up\r
+the possibility of applying to all threads instead.  I think that\r
+would be much more consistent and less surprising behavior.\r
+\r
+An approximate diff from v1 is below.  This diff is prior to rebasing,\r
+since the post-rebase diff is not useful.\r
+\r
+diff --git a/emacs/notmuch-tag.el b/emacs/notmuch-tag.el\r
+index a4eec14..36937fb 100644\r
+--- a/emacs/notmuch-tag.el\r
++++ b/emacs/notmuch-tag.el\r
+@@ -242,7 +242,11 @@ from TAGS if present."\r
+          (error "Changed tag must be of the form `+this_tag' or `-that_tag'")))))\r
+     (sort result-tags 'string<)))\r
\r
+-(defconst notmuch-tag-argument-limit 1000)\r
++(defconst notmuch-tag-argument-limit 1000\r
++  "Use batch tagging if the tagging query is longer than this.\r
++\r
++This limits the length of arguments passed to the notmuch CLI to\r
++avoid system argument length limits and performance problems.")\r
\r
+ (defun notmuch-tag (query &optional tag-changes)\r
+   "Add/remove tags in TAG-CHANGES to messages matching QUERY.\r
+@@ -276,7 +280,6 @@ notmuch-after-tag-hook will be run."\r
+       ;; Use batch tag mode to avoid argument length limitations\r
+       (let ((batch-op (concat (mapconcat #'notmuch-hex-encode tag-changes " ")\r
+                             " -- " query)))\r
+-      (message "Batch tagging with %s" batch-op)\r
+       (notmuch-call-notmuch-process :stdin-string batch-op "tag" "--batch")))\r
+     (run-hooks 'notmuch-after-tag-hook))\r
+   ;; in all cases we return tag-changes as a list\r
+diff --git a/notmuch-client.h b/notmuch-client.h\r
+index 1b14910..8bc1a2a 100644\r
+--- a/notmuch-client.h\r
++++ b/notmuch-client.h\r
+@@ -144,7 +144,8 @@ chomp_newline (char *str)\r
+ #define NOTMUCH_FORMAT_MIN 1\r
+ /* The minimum non-deprecated structured output format version.\r
+  * Requests for format versions below this will print a stern warning.\r
+- * Must be >= NOTMUCH_FORMAT_MIN and < NOTMUCH_FORMAT_CUR.\r
++ * Must be between NOTMUCH_FORMAT_MIN and NOTMUCH_FORMAT_CUR,\r
++ * inclusive.\r
+  */\r
+ #define NOTMUCH_FORMAT_MIN_ACTIVE 1\r
\r
+diff --git a/notmuch-search.c b/notmuch-search.c\r
+index 1d14651..7c973b3 100644\r
+--- a/notmuch-search.c\r
++++ b/notmuch-search.c\r
+@@ -53,13 +53,13 @@ sanitize_string (const void *ctx, const char *str)\r
+  * NULL. */\r
+ static int\r
+ get_thread_query (notmuch_thread_t *thread,\r
+-                char **matched_out, char **unmached_out)\r
++                char **matched_out, char **unmatched_out)\r
+ {\r
+     notmuch_messages_t *messages;\r
+     char *escaped = NULL;\r
+     size_t escaped_len = 0;\r
\r
+-    *matched_out = *unmached_out = NULL;\r
++    *matched_out = *unmatched_out = NULL;\r
\r
+     for (messages = notmuch_thread_get_messages (thread);\r
+        notmuch_messages_valid (messages);\r
+@@ -69,17 +69,16 @@ get_thread_query (notmuch_thread_t *thread,\r
+       const char *mid = notmuch_message_get_message_id (message);\r
+       /* Determine which query buffer to extend */\r
+       char **buf = notmuch_message_get_flag (\r
+-          message, NOTMUCH_MESSAGE_FLAG_MATCH) ? matched_out : unmached_out;\r
+-      /* Allocate the query buffer is this is the first message */\r
+-      if (!*buf && (*buf = talloc_strdup (thread, "")) == NULL)\r
+-          return -1;\r
++          message, NOTMUCH_MESSAGE_FLAG_MATCH) ? matched_out : unmatched_out;\r
+       /* Add this message's id: query.  Since "id" is an exclusive\r
+        * prefix, it is implicitly 'or'd together, so we only need to\r
+        * join queries with a space. */\r
+       if (make_boolean_term (thread, "id", mid, &escaped, &escaped_len) < 0)\r
+           return -1;\r
+-      *buf = talloc_asprintf_append_buffer (\r
+-          *buf, "%s%s", **buf ? " " : "", escaped);\r
++      if (*buf)\r
++          *buf = talloc_asprintf_append_buffer (*buf, " %s", escaped);\r
++      else\r
++          *buf = talloc_strdup (thread, escaped);\r
+       if (!*buf)\r
+           return -1;\r
+     }\r
+\r
+\r