[PATCH v3] emacs: address completion, allow sender/recipient and filters
authorMark Walters <markwalters1009@gmail.com>
Mon, 16 May 2016 07:36:51 +0000 (08:36 +0100)
committerW. Trevor King <wking@tremily.us>
Sat, 20 Aug 2016 23:21:50 +0000 (16:21 -0700)
be/0cf3276271bfb8a06353ff98524416338ff65b [new file with mode: 0644]

diff --git a/be/0cf3276271bfb8a06353ff98524416338ff65b b/be/0cf3276271bfb8a06353ff98524416338ff65b
new file mode 100644 (file)
index 0000000..0635295
--- /dev/null
@@ -0,0 +1,309 @@
+Return-Path: <markwalters1009@gmail.com>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+ by arlo.cworth.org (Postfix) with ESMTP id DB45A6DE0222\r
+ for <notmuch@notmuchmail.org>; Mon, 16 May 2016 00:37:07 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at cworth.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: -0.311\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=-0.311 tagged_above=-999 required=5 tests=[AWL=0.259,\r
+  DKIM_SIGNED=0.1, DKIM_VALID=-0.1, DKIM_VALID_AU=-0.1,\r
+ FREEMAIL_ENVFROM_END_DIGIT=0.25, FREEMAIL_FROM=0.001, RCVD_IN_DNSWL_LOW=-0.7,\r
+ RCVD_IN_MSPIKE_H3=-0.01, RCVD_IN_MSPIKE_WL=-0.01, SPF_PASS=-0.001]\r
+ autolearn=disabled\r
+Received: from arlo.cworth.org ([127.0.0.1])\r
+ by localhost (arlo.cworth.org [127.0.0.1]) (amavisd-new, port 10024)\r
+ with ESMTP id 6xuXdlzBDpkn for <notmuch@notmuchmail.org>;\r
+ Mon, 16 May 2016 00:36:59 -0700 (PDT)\r
+Received: from mail-wm0-f51.google.com (mail-wm0-f51.google.com\r
+ [74.125.82.51]) by arlo.cworth.org (Postfix) with ESMTPS id D6FCD6DE01D0 for\r
+ <notmuch@notmuchmail.org>; Mon, 16 May 2016 00:36:58 -0700 (PDT)\r
+Received: by mail-wm0-f51.google.com with SMTP id a17so121637055wme.0\r
+ for <notmuch@notmuchmail.org>; Mon, 16 May 2016 00:36:58 -0700 (PDT)\r
+DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed; d=gmail.com; s=20120113;\r
+ h=from:to:cc:subject:date:message-id:in-reply-to:references;\r
+ bh=MNzWU9q5T3VkW1ct7Ma7Q8aO356CL3GdW2ogBNbJDBk=;\r
+ b=tBJq3yTyddqToL45vgK5HIesf4KZta8L9CmGJ5DNqKv/5+qW5PR+vAOtmdcJG37Dbd\r
+ ydFHnDFJJxT/AD4RtReA2AB7Mtac5H8z9d4S4yG0cViuQqE3Le+p2zMghtO/Tk9lxqe2\r
+ BHosKGRjQSdoDCHIl/Q/CIkEWfGjcaepaknbPj0XkuF1xiL0A7Qwm6qPvmROHeoKX98d\r
+ /bnQeBE4jK9A1oTT4sJGokO+lwrwd0MWTGcoHjPUGY1rC+l52unL58haSz8e6bzFUnCD\r
+ uUY4I6uI6V/Ehu6EwQub/tb/XC7uT464z60sxTc6mBVFt+u8ynM3/T8Eiz7wB3mz3oNJ\r
+ HnZg==\r
+X-Google-DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed;\r
+ d=1e100.net; s=20130820;\r
+ h=x-gm-message-state:from:to:cc:subject:date:message-id:in-reply-to\r
+ :references;\r
+ bh=MNzWU9q5T3VkW1ct7Ma7Q8aO356CL3GdW2ogBNbJDBk=;\r
+ b=JCmSxgM6qvH3mAlqKdKLGpbqsim+CK72w6LnlQsmoWA0o9IoLvHCt+vDuB4fujlgjG\r
+ uMzaGpS+lLGFOkU0Cp9Wv28+o7Vcq+zxrIKUpXFL6hojhLa7VoxVz3qdsogTX6UimhZv\r
+ W8yYDwURAa4f3cFsyIaDOvtIwciLayCzklvJ1BjPA46cBcDAg7UYaCWXs94qd/N0T0So\r
+ nJH1tg/JQl27mGY4WpCyYsqnfXi5rpN6QcDdiaNPhyQFdEedrxQB5td4usJvKs7QLRnj\r
+ tNWv1xKRBFWW6dM4Rmzz0st6L6q2SgBxhMk5w3pnLP6Vi48VzKm3+h1ZyVlfZhdKlWLI\r
+ Mp/Q==\r
+X-Gm-Message-State:\r
+ AOPr4FU9jVHxio2+3Cacu5FQoL4SOmfdxX8BD4TfSpun/95mg7rmwVrK1Ppxy3MG0zftKA==\r
+X-Received: by 10.194.14.6 with SMTP id l6mr31907904wjc.48.1463384216658;\r
+ Mon, 16 May 2016 00:36:56 -0700 (PDT)\r
+Received: from localhost (5751dfa2.skybroadband.com. [87.81.223.162])\r
+ by smtp.gmail.com with ESMTPSA id c85sm16379952wmd.0.2016.05.16.00.36.55\r
+ (version=TLS1_2 cipher=ECDHE-RSA-AES128-GCM-SHA256 bits=128/128);\r
+ Mon, 16 May 2016 00:36:56 -0700 (PDT)\r
+From: Mark Walters <markwalters1009@gmail.com>\r
+To: notmuch@notmuchmail.org\r
+Subject: [PATCH v3] emacs: address completion,\r
+ allow sender/recipient and filters\r
+Date: Mon, 16 May 2016 08:36:51 +0100\r
+Message-Id: <1463384211-13086-1-git-send-email-markwalters1009@gmail.com>\r
+X-Mailer: git-send-email 2.1.4\r
+In-Reply-To: <87h9e11vq1.fsf@steelpick.2x.cz>\r
+References: <87h9e11vq1.fsf@steelpick.2x.cz>\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.20\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+ <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <https://notmuchmail.org/mailman/options/notmuch>,\r
+ <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch/>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <https://notmuchmail.org/mailman/listinfo/notmuch>,\r
+ <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Mon, 16 May 2016 07:37:07 -0000\r
+\r
+This commit lets the user customize the address completion.\r
+\r
+The first change controls whether to build the address completion list\r
+based on messages you have sent or you have received (the latter is\r
+much faster).\r
+\r
+The second change add a possible filter query to limit the messages\r
+used -- for example, setting this to date:1y..  would limit the\r
+address completions to addresses used in the last year. This speeds up\r
+the address harvest and may also make the search less cluttered as old\r
+addresses may well no longer be valid.\r
+---\r
+\r
+This version uses the docstrings suggested my Michal (which are much\r
+better than mine), and renames some variables, as he suggested, to\r
+make the code clearer.\r
+\r
+I wondered about allowing the user to specify completion based on\r
+message "sent or received", rather than either sent, or received, but\r
+think that is adding too much mess. We could also allow completion\r
+based on any messages in the database, which would the include\r
+completion based on messages received via mailing lists or\r
+distribution lists.\r
+\r
+I also note that if the user enters a bad query into the filter query\r
+box (eg 6M.. rather than date:6M..) they may get an obscure error as\r
+notmuch/xapian fails. I don't see a goo way round that so have left\r
+that as a "don't do that" case.\r
+\r
+Best wishes\r
+\r
+Mark\r
+\r
+\r
+ emacs/notmuch-address.el | 119 ++++++++++++++++++++++++++++++++---------------\r
+ emacs/notmuch-company.el |   2 +-\r
+ 2 files changed, 82 insertions(+), 39 deletions(-)\r
+\r
+diff --git a/emacs/notmuch-address.el b/emacs/notmuch-address.el\r
+index aafbe5f..3dc5da9 100644\r
+--- a/emacs/notmuch-address.el\r
++++ b/emacs/notmuch-address.el\r
+@@ -28,15 +28,51 @@\r
+ ;;\r
+ (declare-function company-manual-begin "company")\r
\r
+-(defcustom notmuch-address-command 'internal\r
+-  "The command which generates possible addresses. It must take a\r
+-single argument and output a list of possible matches, one per\r
+-line. The default value of `internal' uses built-in address\r
+-completion."\r
++(defvar notmuch-address-last-harvest 0\r
++  "Time of last address harvest")\r
++\r
++(defvar notmuch-address-completions (make-hash-table :test 'equal)\r
++  "Hash of email addresses for completion during email composition.\r
++  This variable is set by calling `notmuch-address-harvest'.")\r
++\r
++(defvar notmuch-address-full-harvest-finished nil\r
++  "t indicates that full completion address harvesting has been\r
++finished")\r
++\r
++(defcustom notmuch-address-command '(sent nil)\r
++  "Determines how to generate address completion candidates.\r
++\r
++If it is a string then that string should be an external program\r
++which must take a single argument (searched string) and output a\r
++list of completion candidates, one per line.\r
++\r
++Alternatively, it can be a (non-nil) list, in which case internal\r
++completion is used; in this case the list should have form\r
++'(DIRECTION FILTER), where DIRECTION is either sent or received\r
++and specifies whether the candidates are searched in messages\r
++sent by the user or received by the user (note received by is\r
++much faster), and FILTER is either nil or a filter-string, such\r
++as \"date:1y..\" to append to the query.\r
++\r
++If this variable is nil then address completion is disabled."\r
+   :type '(radio\r
+-        (const :tag "Use internal address completion" internal)\r
++        (list :tag "Use internal address completion"\r
++              (radio\r
++               :tag "Base completion on messages you have"\r
++               :value sent\r
++               (const :tag "sent" sent)\r
++               (const :tag "received" received))\r
++              (radio :tag "Filter messages used for completion"\r
++                     (const :tag "Use all messages" nil)\r
++                     (string :tag "Filter query")))\r
+         (const :tag "Disable address completion" nil)\r
+-        (string :tag "Use external completion command" "notmuch-addresses"))\r
++        (string :tag "Use external completion command"))\r
++  ;; We override set so that we can clear the cache when this changes\r
++  :set (lambda (symbol value)\r
++       (set-default symbol value)\r
++       (setq notmuch-address-last-harvest 0)\r
++       (setq notmuch-address-completions (clrhash notmuch-address-completions))\r
++       (setq notmuch-address-full-harvest-finished nil))\r
+   :group 'notmuch-send\r
+   :group 'notmuch-external)\r
\r
+@@ -51,17 +87,6 @@ to know how address selection is made by default."\r
+   :group 'notmuch-send\r
+   :group 'notmuch-external)\r
\r
+-(defvar notmuch-address-last-harvest 0\r
+-  "Time of last address harvest")\r
+-\r
+-(defvar notmuch-address-completions (make-hash-table :test 'equal)\r
+-  "Hash of email addresses for completion during email composition.\r
+-  This variable is set by calling `notmuch-address-harvest'.")\r
+-\r
+-(defvar notmuch-address-full-harvest-finished nil\r
+-  "t indicates that full completion address harvesting has been\r
+-finished")\r
+-\r
+ (defun notmuch-address-selection-function (prompt collection initial-input)\r
+   "Call (`completing-read'\r
+       PROMPT COLLECTION nil nil INITIAL-INPUT 'notmuch-address-history)"\r
+@@ -83,7 +108,8 @@ finished")\r
\r
+ (defun notmuch-address-setup ()\r
+   (let* ((use-company (and notmuch-address-use-company\r
+-                         (eq notmuch-address-command 'internal)\r
++                         notmuch-address-command\r
++                         (listp notmuch-address-command)\r
+                          (require 'company nil t)))\r
+        (pair (cons notmuch-address-completion-headers-regexp\r
+                    (if use-company\r
+@@ -111,11 +137,11 @@ The candidates are taken from `notmuch-address-completions'."\r
+ elisp-based implementation or older implementation requiring\r
+ external commands."\r
+   (cond\r
+-   ((eq notmuch-address-command 'internal)\r
++   ((and notmuch-address-command (listp notmuch-address-command))\r
+     (when (not notmuch-address-full-harvest-finished)\r
+       ;; First, run quick synchronous harvest based on what the user\r
+       ;; entered so far\r
+-      (notmuch-address-harvest (format "to:%s*" original) t))\r
++      (notmuch-address-harvest original t))\r
+     (prog1 (notmuch-address-matching original)\r
+       ;; Then start the (potentially long-running) full asynchronous harvest if necessary\r
+       (notmuch-address-harvest-trigger)))\r
+@@ -191,32 +217,49 @@ external commands."\r
\r
+ The car is a partial harvest, and the cdr is a full harvest")\r
\r
+-(defun notmuch-address-harvest (&optional filter-query synchronous callback)\r
+-  "Collect addresses completion candidates. It queries the\r
+-notmuch database for all messages sent by the user optionally\r
+-matching FILTER-QUERY (if not nil). It collects the destination\r
+-addresses from those messages and stores them in\r
+-`notmuch-address-completions'. Address harvesting may take some\r
+-time so the address collection runs asynchronously unless\r
+-SYNCHRONOUS is t. In case of asynchronous execution, CALLBACK is\r
+-called when harvesting finishes."\r
+-  (let* ((from-me-query (mapconcat (lambda (x) (concat "from:" x)) (notmuch-user-emails) " or "))\r
+-       (query (if filter-query\r
+-                  (format "(%s) and (%s)" from-me-query filter-query)\r
+-                from-me-query))\r
++(defun notmuch-address-harvest (&optional addr-prefix synchronous callback)\r
++  "Collect addresses completion candidates.\r
++\r
++It queries the notmuch database for messages sent/received (as\r
++configured with `notmuch-address-command`) by the user, collects\r
++destination/source addresses from those messages and stores them\r
++in `notmuch-address-completions'.\r
++\r
++If ADDR-PREFIX is not nil, only messages with to/from addresses\r
++matching ADDR-PREFIX*' are queried.\r
++\r
++Address harvesting may take some time so the address collection runs\r
++asynchronously unless SYNCHRONOUS is t. In case of asynchronous\r
++execution, CALLBACK is called when harvesting finishes."\r
++\r
++  (let* ((sent (eq (car notmuch-address-command) 'sent))\r
++       (config-query (cadr notmuch-address-command))\r
++       (prefix-query (when addr-prefix\r
++                       (format "%s:%s*" (if sent "to" "from") addr-prefix)))\r
++       (from-or-to-me-query\r
++        (mapconcat (lambda (x)\r
++                     (concat (if sent "from:" "to:") x))\r
++                   (notmuch-user-emails) " or "))\r
++       (query (if (or prefix-query config-query)\r
++                  (concat (format "(%s)" from-or-to-me-query)\r
++                          (when prefix-query\r
++                            (format " and (%s)" prefix-query))\r
++                          (when config-query\r
++                            (format " and (%s)" config-query)))\r
++                from-or-to-me-query))\r
+        (args `("address" "--format=sexp" "--format-version=2"\r
+-               "--output=recipients"\r
++               ,(if sent "--output=recipients" "--output=sender")\r
+                "--deduplicate=address"\r
+                ,query)))\r
+     (if synchronous\r
+       (mapc #'notmuch-address-harvest-addr\r
+                                  (apply 'notmuch-call-notmuch-sexp args))\r
+       ;; Asynchronous\r
+-      (let* ((current-proc (if filter-query\r
++      (let* ((current-proc (if addr-prefix\r
+                              (car notmuch-address-harvest-procs)\r
+                            (cdr notmuch-address-harvest-procs)))\r
+            (proc-name (format "notmuch-address-%s-harvest"\r
+-                              (if filter-query "partial" "full")))\r
++                              (if addr-prefix "partial" "full")))\r
+            (proc-buf (concat " *" proc-name "*")))\r
+       ;; Kill any existing process\r
+       (when current-proc\r
+@@ -228,7 +271,7 @@ called when harvesting finishes."\r
+                    args))\r
+       (set-process-filter current-proc 'notmuch-address-harvest-filter)\r
+       (set-process-query-on-exit-flag current-proc nil)\r
+-      (if filter-query\r
++      (if addr-prefix\r
+           (setcar notmuch-address-harvest-procs current-proc)\r
+         (setcdr notmuch-address-harvest-procs current-proc)))))\r
+   ;; return value\r
+diff --git a/emacs/notmuch-company.el b/emacs/notmuch-company.el\r
+index b881d6d..dcb59cd 100644\r
+--- a/emacs/notmuch-company.el\r
++++ b/emacs/notmuch-company.el\r
+@@ -72,7 +72,7 @@\r
+                         (lambda (callback)\r
+                           ;; First run quick asynchronous harvest based on what the user entered so far\r
+                           (notmuch-address-harvest\r
+-                           (format "to:%s*" arg) nil\r
++                           arg nil\r
+                            (lambda (_proc _event)\r
+                              (funcall callback (notmuch-address-matching arg))\r
+                              ;; Then start the (potentially long-running) full asynchronous harvest if necessary\r
+-- \r
+2.1.4\r
+\r