[PATCH 07/11] emacs: Use notmuch tag --batch for large tag queries
authorAustin Clements <amdragon@MIT.EDU>
Mon, 7 Oct 2013 22:33:17 +0000 (18:33 +2000)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 17:57:17 +0000 (09:57 -0800)
bc/edaa04cf8c3d2c4e7f808f493523085bc57e0c [new file with mode: 0644]

diff --git a/bc/edaa04cf8c3d2c4e7f808f493523085bc57e0c b/bc/edaa04cf8c3d2c4e7f808f493523085bc57e0c
new file mode 100644 (file)
index 0000000..e1d3c0a
--- /dev/null
@@ -0,0 +1,151 @@
+Return-Path: <amdragon@mit.edu>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id 1A3EE431FAE\r
+       for <notmuch@notmuchmail.org>; Mon,  7 Oct 2013 15:33:43 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: -0.7\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
+       tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id tXKnVsMWEPcU for <notmuch@notmuchmail.org>;\r
+       Mon,  7 Oct 2013 15:33:38 -0700 (PDT)\r
+Received: from dmz-mailsec-scanner-3.mit.edu (dmz-mailsec-scanner-3.mit.edu\r
+       [18.9.25.14])\r
+       by olra.theworths.org (Postfix) with ESMTP id 8FCF4431FBF\r
+       for <notmuch@notmuchmail.org>; Mon,  7 Oct 2013 15:33:30 -0700 (PDT)\r
+X-AuditID: 1209190e-b7f828e0000009cf-7c-525336b9adcc\r
+Received: from mailhub-auth-1.mit.edu ( [18.9.21.35])\r
+       by dmz-mailsec-scanner-3.mit.edu (Symantec Messaging Gateway) with SMTP\r
+       id AE.6E.02511.9B633525; Mon,  7 Oct 2013 18:33:29 -0400 (EDT)\r
+Received: from outgoing.mit.edu (outgoing-auth-1.mit.edu [18.9.28.11])\r
+       by mailhub-auth-1.mit.edu (8.13.8/8.9.2) with ESMTP id r97MXPjm008283; \r
+       Mon, 7 Oct 2013 18:33:26 -0400\r
+Received: from drake.dyndns.org (26-4-172.dynamic.csail.mit.edu [18.26.4.172])\r
+       (authenticated bits=0)\r
+       (User authenticated as amdragon@ATHENA.MIT.EDU)\r
+       by outgoing.mit.edu (8.13.8/8.12.4) with ESMTP id r97MXNU8028511\r
+       (version=TLSv1/SSLv3 cipher=AES256-SHA bits=256 verify=NOT);\r
+       Mon, 7 Oct 2013 18:33:25 -0400\r
+Received: from amthrax by drake.dyndns.org with local (Exim 4.77)\r
+       (envelope-from <amdragon@mit.edu>)\r
+       id 1VTJMh-0006by-Mg; Mon, 07 Oct 2013 18:33:23 -0400\r
+From: Austin Clements <amdragon@MIT.EDU>\r
+To: notmuch@notmuchmail.org\r
+Subject: [PATCH 07/11] emacs: Use notmuch tag --batch for large tag queries\r
+Date: Mon,  7 Oct 2013 18:33:17 -0400\r
+Message-Id: <1381185201-25197-8-git-send-email-amdragon@mit.edu>\r
+X-Mailer: git-send-email 1.8.4.rc3\r
+In-Reply-To: <1381185201-25197-1-git-send-email-amdragon@mit.edu>\r
+References: <1381185201-25197-1-git-send-email-amdragon@mit.edu>\r
+X-Brightmail-Tracker:\r
+ H4sIAAAAAAAAA+NgFtrIIsWRmVeSWpSXmKPExsUixCmqrLvTLDjI4O4KfovrN2cyOzB6PFt1\r
+       izmAMYrLJiU1J7MstUjfLoErY+mn3awFT6Qr7l1KbmDsE+9i5OSQEDCRWNB9nQnCFpO4cG89\r
+       WxcjF4eQwD5GiZOzWplBEkICGxglZr5KgEgcZpL4e+wlE4Qzl1Hi+JdfrCBVbAIaEtv2L2cE\r
+       sUUEpCV23p0NFOfgYBZQk/jTpQISFhbwllj9uZsFxGYRUJVo3feNDcTmFXCQWLP6LCvEFUoS\r
+       C09tA7M5BRwllmy8yAZxhIPE3P2LWCcw8i9gZFjFKJuSW6Wbm5iZU5yarFucnJiXl1qka6yX\r
+       m1mil5pSuokRHDKSfDsYvx5UOsQowMGoxMMrcDgoSIg1say4MvcQoyQHk5Io7xnT4CAhvqT8\r
+       lMqMxOKM+KLSnNTiQ4wSHMxKIrwCRkA53pTEyqrUonyYlDQHi5I4700O+yAhgfTEktTs1NSC\r
+       1CKYrAwHh5IEbxjIUMGi1PTUirTMnBKENBMHJ8hwHqDhYmYgw4sLEnOLM9Mh8qcYFaXEeRVA\r
+       EgIgiYzSPLheWEy/YhQHekWY9zPICh5gOoDrfgU0mAlosC57IMjgkkSElFQDo6Jv+pWlEWem\r
+       Zv/k1Iq7fCQjUGlJWVKliLZdou3R83z5a46u60i9qL+FwVqwSXbi3bgyob8zDmyq+9a0eEvw\r
+       r07NlgV1iwKfmm0t4ZDSWOuzJFR0yeddGRy7TDf13FUyYRJ+v/jw9uj4M8w/zetLd01hLlDU\r
+       jczcLxC12GBZ/qIFbvnxVb51SizFGYmGWsxFxYkAz7oh08QCAAA=\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Mon, 07 Oct 2013 22:33:43 -0000\r
+\r
+(Unfortunately, it's difficult to first demonstrate this problem with\r
+a known-broken test because modern Linux kernels have argument length\r
+limits in the megabytes, which makes Emacs really slow!)\r
+---\r
+ emacs/notmuch-lib.el |  8 ++++++++\r
+ emacs/notmuch-tag.el | 12 ++++++++++--\r
+ test/emacs           |  8 ++++++++\r
+ 3 files changed, 26 insertions(+), 2 deletions(-)\r
+\r
+diff --git a/emacs/notmuch-lib.el b/emacs/notmuch-lib.el\r
+index 22156f1..348112b 100644\r
+--- a/emacs/notmuch-lib.el\r
++++ b/emacs/notmuch-lib.el\r
+@@ -261,6 +261,14 @@ user-friendly queries."\r
+   "Return a query that matches the message with id ID."\r
+   (concat "id:" (notmuch-escape-boolean-term id)))\r
\r
++(defun notmuch-hex-encode (str)\r
++  "Hex-encode STR (e.g., as used by batch tagging).\r
++\r
++This replaces spaces, percents, and double quotes in STR with\r
++%NN where NN is the hexadecimal value of the character."\r
++  (replace-regexp-in-string\r
++   "[ %\"]" (lambda (match) (format "%%%02x" (aref match 0))) str))\r
++\r
+ ;;\r
\r
+ (defun notmuch-common-do-stash (text)\r
+diff --git a/emacs/notmuch-tag.el b/emacs/notmuch-tag.el\r
+index 064cfa8..a4eec14 100644\r
+--- a/emacs/notmuch-tag.el\r
++++ b/emacs/notmuch-tag.el\r
+@@ -242,6 +242,8 @@ from TAGS if present."\r
+          (error "Changed tag must be of the form `+this_tag' or `-that_tag'")))))\r
+     (sort result-tags 'string<)))\r
\r
++(defconst notmuch-tag-argument-limit 1000)\r
++\r
+ (defun notmuch-tag (query &optional tag-changes)\r
+   "Add/remove tags in TAG-CHANGES to messages matching QUERY.\r
\r
+@@ -268,8 +270,14 @@ notmuch-after-tag-hook will be run."\r
+       tag-changes)\r
+   (unless (null tag-changes)\r
+     (run-hooks 'notmuch-before-tag-hook)\r
+-    (apply 'notmuch-call-notmuch-process "tag"\r
+-         (append tag-changes (list "--" query)))\r
++    (if (<= (length query) notmuch-tag-argument-limit)\r
++      (apply 'notmuch-call-notmuch-process "tag"\r
++             (append tag-changes (list "--" query)))\r
++      ;; Use batch tag mode to avoid argument length limitations\r
++      (let ((batch-op (concat (mapconcat #'notmuch-hex-encode tag-changes " ")\r
++                            " -- " query)))\r
++      (message "Batch tagging with %s" batch-op)\r
++      (notmuch-call-notmuch-process :stdin-string batch-op "tag" "--batch")))\r
+     (run-hooks 'notmuch-after-tag-hook))\r
+   ;; in all cases we return tag-changes as a list\r
+   tag-changes)\r
+diff --git a/test/emacs b/test/emacs\r
+index 05295af..2917189 100755\r
+--- a/test/emacs\r
++++ b/test/emacs\r
+@@ -122,6 +122,14 @@ test_emacs "(notmuch-search \"$os_x_darwin_thread\")\r
+ output=$(notmuch search $os_x_darwin_thread | notmuch_search_sanitize)\r
+ test_expect_equal "$output" "thread:XXX   2009-11-18 [4/4] Jjgod Jiang, Alexander Botero-Lowry; [notmuch] Mac OS X/Darwin compatibility issues (inbox unread)"\r
\r
++test_begin_subtest "Add tag (large query)"\r
++# We use a long query to force us into batch mode and use a funny tag\r
++# that requires escaping for batch tagging.\r
++test_emacs "(notmuch-tag (concat \"$os_x_darwin_thread\" \" or \" (make-string notmuch-tag-argument-limit ?x)) \"+tag-from-%-large-query\")"\r
++output=$(notmuch search $os_x_darwin_thread | notmuch_search_sanitize)\r
++test_expect_equal "$output" "thread:XXX   2009-11-18 [4/4] Jjgod Jiang, Alexander Botero-Lowry; [notmuch] Mac OS X/Darwin compatibility issues (inbox tag-from-%-large-query unread)"\r
++notmuch tag -tag-from-%-large-query $os_x_darwin_thread\r
++\r
+ test_begin_subtest "notmuch-show: add single tag to single message"\r
+ test_emacs "(notmuch-show \"$os_x_darwin_thread\")\r
+           (execute-kbd-macro \"+tag-from-show-view\")"\r
+-- \r
+1.8.4.rc3\r
+\r