[PATCH v2 04/13] lib: make folder: prefix literal
authorJani Nikula <jani@nikula.org>
Sat, 22 Feb 2014 22:25:35 +0000 (00:25 +0200)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 18:00:09 +0000 (10:00 -0800)
69/65b7194ba67ce4cddd00e51e2957da77b98eff [new file with mode: 0644]

diff --git a/69/65b7194ba67ce4cddd00e51e2957da77b98eff b/69/65b7194ba67ce4cddd00e51e2957da77b98eff
new file mode 100644 (file)
index 0000000..5caae64
--- /dev/null
@@ -0,0 +1,304 @@
+Return-Path: <jani@nikula.org>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id 1F4CB429E25\r
+       for <notmuch@notmuchmail.org>; Sat, 22 Feb 2014 14:26:11 -0800 (PST)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Amavis-Alert: BAD HEADER SECTION, Duplicate header field: "References"\r
+X-Spam-Flag: NO\r
+X-Spam-Score: -0.7\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
+       tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id DwWUcfNAT9u3 for <notmuch@notmuchmail.org>;\r
+       Sat, 22 Feb 2014 14:26:05 -0800 (PST)\r
+Received: from mail-ea0-f176.google.com (mail-ea0-f176.google.com\r
+       [209.85.215.176]) (using TLSv1 with cipher RC4-SHA (128/128 bits))\r
+       (No client certificate requested)\r
+       by olra.theworths.org (Postfix) with ESMTPS id 0C3C9431FD2\r
+       for <notmuch@notmuchmail.org>; Sat, 22 Feb 2014 14:25:57 -0800 (PST)\r
+Received: by mail-ea0-f176.google.com with SMTP id b10so2277437eae.21\r
+       for <notmuch@notmuchmail.org>; Sat, 22 Feb 2014 14:25:56 -0800 (PST)\r
+X-Google-DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed;\r
+       d=1e100.net; s=20130820;\r
+       h=x-gm-message-state:from:to:cc:subject:date:message-id:in-reply-to\r
+       :references:in-reply-to:references;\r
+       bh=Bw3EqsZmQxSICAETngxVnl25gifKwBq8V2WAe033C58=;\r
+       b=JAsFnL+JHoWwsIQrhIrs0sy16i+R5PvDfvNc/Sdk4a2yg0rCUiVaK0nwiqCbKX7U6V\r
+       WqEWO+Tqebvp3zn39gQC/RST121mIDqur/n97WpcXfGcWlHXDd4SvXuGI3H39QmoGnbE\r
+       A4bg1mQQPu3nk85dt5GgHES+CQ2OchEagZITbAf7ApSvKwgM+r8r48zZlzrqghGxGpV/\r
+       t9gu1QI5K3BkplZKpVgG+HLwL6mf6ULMHnF7ITEKT4ajqWH4t4efdWfp3bENfpEdPDFY\r
+       Rv/oickkyZtiZDY77zkCBy4X6JI7WoAU0kopepSCia+HsMJYztm4HlduT0TtmjfxrGPM\r
+       FKjg==\r
+X-Gm-Message-State:\r
+ ALoCoQl/uIaWBduy6W1YC4VIh+kp25fidq/8znOJz3nsutqqiOMq3Bzq3lwVn4lTUrd0OmO016dO\r
+X-Received: by 10.14.177.135 with SMTP id d7mr4770813eem.33.1393107956754;\r
+       Sat, 22 Feb 2014 14:25:56 -0800 (PST)\r
+Received: from localhost (dsl-hkibrasgw2-58c36f-91.dhcp.inet.fi.\r
+       [88.195.111.91])\r
+       by mx.google.com with ESMTPSA id m9sm43763356eeh.3.2014.02.22.14.25.55\r
+       for <multiple recipients>\r
+       (version=TLSv1.2 cipher=RC4-SHA bits=128/128);\r
+       Sat, 22 Feb 2014 14:25:56 -0800 (PST)\r
+From: Jani Nikula <jani@nikula.org>\r
+To: notmuch@notmuchmail.org\r
+Subject: [PATCH v2 04/13] lib: make folder: prefix literal\r
+Date: Sun, 23 Feb 2014 00:25:35 +0200\r
+Message-Id:\r
+ <aedea7da8caa363dea7737c1446081b8441d2cb0.1393105055.git.jani@nikula.org>\r
+X-Mailer: git-send-email 1.8.5.3\r
+In-Reply-To: <cover.1393105055.git.jani@nikula.org>\r
+References: <cover.1393105055.git.jani@nikula.org>\r
+In-Reply-To: <cover.1393105055.git.jani@nikula.org>\r
+References: <cover.1393105055.git.jani@nikula.org>\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Sat, 22 Feb 2014 22:26:11 -0000\r
+\r
+In xapian terms, convert folder: prefix from probabilistic to boolean\r
+prefix, matching the paths, relative form the maildir root, of the\r
+message files, ignoring the maildir new and cur leaf directories.\r
+\r
+folder:foo matches all message files in foo, foo/new, and foo/cur.\r
+\r
+folder:foo/new does *not* match message files in foo/new.\r
+\r
+folder:"" matches all message files in the top level maildir and its\r
+new and cur subdirectories.\r
+\r
+This change constitutes a database change: bump the database version\r
+and add database upgrade support for folder: terms. The upgrade also\r
+adds path: terms.\r
+---\r
+ lib/database.cc       | 38 ++++++++++++++++++++++--\r
+ lib/message.cc        | 80 ++++++++++++++++++++++++++++++++++++++++++++-------\r
+ lib/notmuch-private.h |  3 ++\r
+ 3 files changed, 108 insertions(+), 13 deletions(-)\r
+\r
+diff --git a/lib/database.cc b/lib/database.cc\r
+index 93cc7f57e9db..186e3a7976fe 100644\r
+--- a/lib/database.cc\r
++++ b/lib/database.cc\r
+@@ -42,7 +42,7 @@ typedef struct {\r
+     const char *prefix;\r
+ } prefix_t;\r
\r
+-#define NOTMUCH_DATABASE_VERSION 1\r
++#define NOTMUCH_DATABASE_VERSION 2\r
\r
+ #define STRINGIFY(s) _SUB_STRINGIFY(s)\r
+ #define _SUB_STRINGIFY(s) #s\r
+@@ -210,6 +210,7 @@ static prefix_t BOOLEAN_PREFIX_EXTERNAL[] = {\r
+     { "is",                   "K" },\r
+     { "id",                   "Q" },\r
+     { "path",                 "P" },\r
++    { "folder",                       "XFOLDER:" },\r
+ };\r
\r
+ static prefix_t PROBABILISTIC_PREFIX[]= {\r
+@@ -217,7 +218,6 @@ static prefix_t PROBABILISTIC_PREFIX[]= {\r
+     { "to",                   "XTO" },\r
+     { "attachment",           "XATTACHMENT" },\r
+     { "subject",              "XSUBJECT"},\r
+-    { "folder",                       "XFOLDER"}\r
+ };\r
\r
+ const char *\r
+@@ -1168,6 +1168,40 @@ notmuch_database_upgrade (notmuch_database_t *notmuch,\r
+       }\r
+     }\r
\r
++    /*\r
++     * Prior to version 2, the "folder:" prefix was probabilistic and\r
++     * stemmed. Change it to the current boolean prefix. Add "path:"\r
++     * prefixes while at it.\r
++     */\r
++    if (version < 2) {\r
++       notmuch_query_t *query = notmuch_query_create (notmuch, "");\r
++       notmuch_messages_t *messages;\r
++       notmuch_message_t *message;\r
++\r
++       count = 0;\r
++       total = notmuch_query_count_messages (query);\r
++\r
++       for (messages = notmuch_query_search_messages (query);\r
++            notmuch_messages_valid (messages);\r
++            notmuch_messages_move_to_next (messages)) {\r
++           if (do_progress_notify) {\r
++               progress_notify (closure, (double) count / total);\r
++               do_progress_notify = 0;\r
++           }\r
++\r
++           message = notmuch_messages_get (messages);\r
++\r
++           _notmuch_message_upgrade_folder (message);\r
++           _notmuch_message_sync (message);\r
++\r
++           notmuch_message_destroy (message);\r
++\r
++           count++;\r
++       }\r
++\r
++       notmuch_query_destroy (query);\r
++    }\r
++\r
+     db->set_metadata ("version", STRINGIFY (NOTMUCH_DATABASE_VERSION));\r
+     db->flush ();\r
\r
+diff --git a/lib/message.cc b/lib/message.cc\r
+index 21abe8e12b9d..31cb9f107dd7 100644\r
+--- a/lib/message.cc\r
++++ b/lib/message.cc\r
+@@ -504,6 +504,56 @@ _notmuch_message_remove_terms (notmuch_message_t *message, const char *prefix)\r
+     }\r
+ }\r
\r
++/* Return true if p points at "new" or "cur". */\r
++static bool is_maildir (const char *p)\r
++{\r
++    return strcmp (p, "cur") == 0 || strcmp (p, "new") == 0;\r
++}\r
++\r
++/* Add "folder:" term for directory. */\r
++static notmuch_status_t\r
++_notmuch_message_add_folder_terms (notmuch_message_t *message,\r
++                                 const char *directory)\r
++{\r
++    char *folder, *last;\r
++\r
++    folder = talloc_strdup (NULL, directory);\r
++    if (! folder)\r
++       return NOTMUCH_STATUS_OUT_OF_MEMORY;\r
++\r
++    /*\r
++     * If the message file is in a leaf directory named "new" or\r
++     * "cur", presume maildir and index the parent directory. Thus a\r
++     * "folder:" prefix search matches messages in the specified\r
++     * maildir folder, i.e. in the specified directory and its "new"\r
++     * and "cur" subdirectories.\r
++     *\r
++     * Note that this means the "folder:" prefix can't be used for\r
++     * distinguishing between message files in "new" or "cur". The\r
++     * "path:" prefix needs to be used for that.\r
++     *\r
++     * Note the deliberate difference to _filename_is_in_maildir(). We\r
++     * don't want to index different things depending on the existence\r
++     * or non-existence of all maildir sibling directories "new",\r
++     * "cur", and "tmp". Doing so would be surprising, and difficult\r
++     * for the user to fix in case all subdirectories were not in\r
++     * place during indexing.\r
++     */\r
++    last = strrchr (folder, '/');\r
++    if (last) {\r
++       if (is_maildir (last + 1))\r
++           *last = '\0';\r
++    } else if (is_maildir (folder)) {\r
++       *folder = '\0';\r
++    }\r
++\r
++    _notmuch_message_add_term (message, "folder", folder);\r
++\r
++    talloc_free (folder);\r
++\r
++    return NOTMUCH_STATUS_SUCCESS;\r
++}\r
++\r
+ #define RECURSIVE_SUFFIX "/**"\r
\r
+ /* Add "path:" terms for directory. */\r
+@@ -570,9 +620,8 @@ _notmuch_message_add_directory_terms (void *ctx, notmuch_message_t *message)\r
+       directory = _notmuch_database_get_directory_path (ctx,\r
+                                                         message->notmuch,\r
+                                                         directory_id);\r
+-      if (strlen (directory))\r
+-          _notmuch_message_gen_terms (message, "folder", directory);\r
\r
++      _notmuch_message_add_folder_terms (message, directory);\r
+       _notmuch_message_add_path_terms (message, directory);\r
+     }\r
\r
+@@ -610,9 +659,7 @@ _notmuch_message_add_filename (notmuch_message_t *message,\r
+      * notmuch_directory_get_child_files() . */\r
+     _notmuch_message_add_term (message, "file-direntry", direntry);\r
\r
+-    /* New terms allow user to search with folder: specification. */\r
+-    _notmuch_message_gen_terms (message, "folder", directory);\r
+-\r
++    _notmuch_message_add_folder_terms (message, directory);\r
+     _notmuch_message_add_path_terms (message, directory);\r
\r
+     talloc_free (local);\r
+@@ -637,8 +684,6 @@ _notmuch_message_remove_filename (notmuch_message_t *message,\r
+                                 const char *filename)\r
+ {\r
+     void *local = talloc_new (message);\r
+-    const char *folder_prefix = _find_prefix ("folder");\r
+-    char *zfolder_prefix = talloc_asprintf(local, "Z%s", folder_prefix);\r
+     char *direntry;\r
+     notmuch_private_status_t private_status;\r
+     notmuch_status_t status;\r
+@@ -659,10 +704,7 @@ _notmuch_message_remove_filename (notmuch_message_t *message,\r
+     /* Re-synchronize "folder:" and "path:" terms for this message. */\r
\r
+     /* Remove all "folder:" terms. */\r
+-    _notmuch_message_remove_terms (message, folder_prefix);\r
+-\r
+-    /* Remove all "folder:" stemmed terms. */\r
+-    _notmuch_message_remove_terms (message, zfolder_prefix);\r
++    _notmuch_message_remove_terms (message, _find_prefix ("folder"));\r
\r
+     /* Remove all "path:" terms. */\r
+     _notmuch_message_remove_terms (message, _find_prefix ("path"));\r
+@@ -675,6 +717,22 @@ _notmuch_message_remove_filename (notmuch_message_t *message,\r
+     return status;\r
+ }\r
\r
++/* Upgrade the "folder:" prefix from V1 to V2. */\r
++#define FOLDER_PREFIX_V1       "XFOLDER"\r
++#define ZFOLDER_PREFIX_V1      "Z" FOLDER_PREFIX_V1\r
++void\r
++_notmuch_message_upgrade_folder (notmuch_message_t *message)\r
++{\r
++    /* Remove all old "folder:" terms. */\r
++    _notmuch_message_remove_terms (message, FOLDER_PREFIX_V1);\r
++\r
++    /* Remove all old "folder:" stemmed terms. */\r
++    _notmuch_message_remove_terms (message, ZFOLDER_PREFIX_V1);\r
++\r
++    /* Add new boolean "folder:" and "path:" terms. */\r
++    _notmuch_message_add_directory_terms (message, message);\r
++}\r
++\r
+ char *\r
+ _notmuch_message_talloc_copy_data (notmuch_message_t *message)\r
+ {\r
+diff --git a/lib/notmuch-private.h b/lib/notmuch-private.h\r
+index af185c7c5ba8..59eb2bc285a5 100644\r
+--- a/lib/notmuch-private.h\r
++++ b/lib/notmuch-private.h\r
+@@ -263,6 +263,9 @@ _notmuch_message_gen_terms (notmuch_message_t *message,\r
+ void\r
+ _notmuch_message_upgrade_filename_storage (notmuch_message_t *message);\r
\r
++void\r
++_notmuch_message_upgrade_folder (notmuch_message_t *message);\r
++\r
+ notmuch_status_t\r
+ _notmuch_message_add_filename (notmuch_message_t *message,\r
+                              const char *filename);\r
+-- \r
+1.8.5.3\r
+\r