[PATCH 10/10] cli: address: Add --filter-by option to configure address filtering
authorMichal Sojka <sojkam1@fel.cvut.cz>
Sun, 2 Nov 2014 00:50:00 +0000 (01:50 +0100)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 18:06:05 +0000 (10:06 -0800)
88/61239712ce04ba07721d3e33ee7a735d9da6d4 [new file with mode: 0644]

diff --git a/88/61239712ce04ba07721d3e33ee7a735d9da6d4 b/88/61239712ce04ba07721d3e33ee7a735d9da6d4
new file mode 100644 (file)
index 0000000..d5f8652
--- /dev/null
@@ -0,0 +1,332 @@
+Return-Path: <sojkam1@fel.cvut.cz>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id 1B6E0429E47\r
+       for <notmuch@notmuchmail.org>; Sat,  1 Nov 2014 17:50:36 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: -2.3\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=-2.3 tagged_above=-999 required=5\r
+       tests=[RCVD_IN_DNSWL_MED=-2.3] autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id 3JC3jKPqnZ2W for <notmuch@notmuchmail.org>;\r
+       Sat,  1 Nov 2014 17:50:30 -0700 (PDT)\r
+Received: from max.feld.cvut.cz (max.feld.cvut.cz [147.32.192.36])\r
+       by olra.theworths.org (Postfix) with ESMTP id 86768431E62\r
+       for <notmuch@notmuchmail.org>; Sat,  1 Nov 2014 17:50:15 -0700 (PDT)\r
+Received: from localhost (unknown [192.168.200.7])\r
+       by max.feld.cvut.cz (Postfix) with ESMTP id E28A85CD28D\r
+       for <notmuch@notmuchmail.org>; Sun,  2 Nov 2014 01:50:14 +0100 (CET)\r
+X-Virus-Scanned: IMAP STYX AMAVIS\r
+Received: from max.feld.cvut.cz ([192.168.200.1])\r
+       by localhost (styx.feld.cvut.cz [192.168.200.7]) (amavisd-new,\r
+       port 10044) with ESMTP id xPLK3xamo-9l for <notmuch@notmuchmail.org>;\r
+       Sun,  2 Nov 2014 01:50:10 +0100 (CET)\r
+Received: from imap.feld.cvut.cz (imap.feld.cvut.cz [147.32.192.34])\r
+       by max.feld.cvut.cz (Postfix) with ESMTP id 3181B5CD287\r
+       for <notmuch@notmuchmail.org>; Sun,  2 Nov 2014 01:50:10 +0100 (CET)\r
+Received: from wsh by steelpick.2x.cz with local (Exim 4.84)\r
+       (envelope-from <sojkam1@fel.cvut.cz>)\r
+       id 1XkjMq-00085V-LX; Sun, 02 Nov 2014 01:50:04 +0100\r
+From: Michal Sojka <sojkam1@fel.cvut.cz>\r
+To: notmuch@notmuchmail.org\r
+Subject: [PATCH 10/10] cli: address: Add --filter-by option to configure\r
+       address filtering\r
+Date: Sun,  2 Nov 2014 01:50:00 +0100\r
+Message-Id: <1414889400-30977-11-git-send-email-sojkam1@fel.cvut.cz>\r
+X-Mailer: git-send-email 2.1.1\r
+In-Reply-To: <1414889400-30977-1-git-send-email-sojkam1@fel.cvut.cz>\r
+References: <1414889400-30977-1-git-send-email-sojkam1@fel.cvut.cz>\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Sun, 02 Nov 2014 00:50:36 -0000\r
+\r
+This option allows to configure the criterion for duplicate address\r
+filtering. Without this option, all unique combinations of name and\r
+address parts are printed. This option allows to filter the output\r
+more, for example to only contain unique address parts.\r
+---\r
+ completion/notmuch-completion.bash |  6 +++-\r
+ completion/notmuch-completion.zsh  |  1 +\r
+ doc/man1/notmuch-address.rst       | 36 ++++++++++++++++++-\r
+ notmuch-search.c                   | 48 +++++++++++++++++++++++--\r
+ test/T097-address-filter-by.sh     | 73 ++++++++++++++++++++++++++++++++++++++\r
+ 5 files changed, 160 insertions(+), 4 deletions(-)\r
+ create mode 100755 test/T097-address-filter-by.sh\r
+\r
+diff --git a/completion/notmuch-completion.bash b/completion/notmuch-completion.bash\r
+index db152f3..2cb1586 100644\r
+--- a/completion/notmuch-completion.bash\r
++++ b/completion/notmuch-completion.bash\r
+@@ -310,7 +310,7 @@ _notmuch_search()\r
+     ! $split &&\r
+     case "${cur}" in\r
+       -*)\r
+-          local options="--format= --output= --sort= --offset= --limit= --exclude= --duplicate="\r
++          local options="--format= --output= --sort= --offset= --limit= --exclude= --duplicate= --filter-by="\r
+           compopt -o nospace\r
+           COMPREPLY=( $(compgen -W "$options" -- ${cur}) )\r
+           ;;\r
+@@ -343,6 +343,10 @@ _notmuch_address()\r
+           COMPREPLY=( $( compgen -W "true false flag all" -- "${cur}" ) )\r
+           return\r
+           ;;\r
++      --filter-by)\r
++          COMPREPLY=( $( compgen -W "nameaddr name addr addrfold nameaddrfold" -- "${cur}" ) )\r
++          return\r
++          ;;\r
+     esac\r
\r
+     ! $split &&\r
+diff --git a/completion/notmuch-completion.zsh b/completion/notmuch-completion.zsh\r
+index 8968562..3758f1a 100644\r
+--- a/completion/notmuch-completion.zsh\r
++++ b/completion/notmuch-completion.zsh\r
+@@ -62,6 +62,7 @@ _notmuch_address()\r
+   _arguments -s : \\r
+     '--sort=[sort results]:sorting:((newest-first\:"reverse chronological order" oldest-first\:"chronological order"))' \\r
+     '--output=[select what to output]:output:((sender recipients count))'\r
++    '--filter-by=[filter out duplicate addresses]:filter-by:((nameaddr\:"both name and address part" name\:"name part" addr\:"address part" addrfold\:"case-insensitive address part" nameaddrfold\:"name and case-insensitive address part"))'\r
+ }\r
\r
+ _notmuch()\r
+diff --git a/doc/man1/notmuch-address.rst b/doc/man1/notmuch-address.rst\r
+index 18473a7..524ab91 100644\r
+--- a/doc/man1/notmuch-address.rst\r
++++ b/doc/man1/notmuch-address.rst\r
+@@ -11,7 +11,8 @@ DESCRIPTION\r
+ ===========\r
\r
+ Search for messages matching the given search terms, and display the\r
+-addresses from them. Duplicate addresses are filtered out.\r
++addresses from them. Duplicate addresses are filtered out. Filtering\r
++can be configured with the --filter-by option.\r
\r
+ See **notmuch-search-terms(7)** for details of the supported syntax for\r
+ <search-terms>.\r
+@@ -85,6 +86,39 @@ Supported options for **address** include\r
+         is the number of matching non-excluded messages in the thread,\r
+         rather than the number of matching messages.\r
\r
++    ``--filter-by=``\ (**nameaddr**\ \|\ **name** \|\ **addr**\ \|\ **addrfold**\ \|\ **nameaddrfold**\)\r
++\r
++      Controls how to filter out duplicate addresses. The filtering\r
++      algorithm receives a sequence of email addresses and outputs\r
++      the same sequence without the addresses that are considered a\r
++      duplicate of a previously output address. What is considered a\r
++      duplicate depends on how the two addresses are compared:\r
++\r
++      **nameaddr** means that both name and address parts are\r
++      compared in case-sensitive manner. Therefore, all same looking\r
++      addresses strings are considered duplicate. This is the\r
++      default.\r
++\r
++      **name** means that only the name part is compared (in\r
++      case-sensitive manner). For example, the addresses "John Doe\r
++      <me@example.com>" and "John Doe <john@doe.name>" will be\r
++      considered duplicate.\r
++\r
++      **addr** means that only the address part is compared (in\r
++      case-sensitive manner). For example, the addresses "John Doe\r
++      <john@example.com>" and "Dr. John Doe <john@example.com>" will\r
++      be considered duplicate.\r
++\r
++      **addrfold** is like **addr**, but comparison is done in\r
++      canse-insensitive manner. For example, the addresses "John Doe\r
++      <john@example.com>" and "Dr. John Doe <JOHN@EXAMPLE.COM>" will\r
++      be considered duplicate.\r
++\r
++      **nameaddrfold** is like **nameaddr**, but address comparison\r
++      is done in canse-insensitive manner. For example, the\r
++      addresses "John Doe <john@example.com>" and "John Doe\r
++      <JOHN@EXAMPLE.COM>" will be considered duplicate.\r
++\r
+ EXIT STATUS\r
+ ===========\r
\r
+diff --git a/notmuch-search.c b/notmuch-search.c\r
+index b45d480..ee1aead 100644\r
+--- a/notmuch-search.c\r
++++ b/notmuch-search.c\r
+@@ -43,6 +43,14 @@ typedef enum {\r
+     NOTMUCH_FORMAT_SEXP\r
+ } format_sel_t;\r
\r
++typedef enum {\r
++    FILTER_BY_NAMEADDR = 0,\r
++    FILTER_BY_NAME,\r
++    FILTER_BY_ADDR,\r
++    FILTER_BY_ADDRFOLD,\r
++    FILTER_BY_NAMEADDRFOLD,\r
++} filter_by_t;\r
++\r
+ typedef struct {\r
+     notmuch_database_t *notmuch;\r
+     format_sel_t format_sel;\r
+@@ -55,6 +63,7 @@ typedef struct {\r
+     int limit;\r
+     int dupe;\r
+     GHashTable *addresses;\r
++    filter_by_t filter_by;\r
+ } search_context_t;\r
\r
+ typedef struct {\r
+@@ -243,15 +252,42 @@ do_search_threads (search_context_t *ctx)\r
+     return 0;\r
+ }\r
\r
+-/* Returns TRUE iff name and addr is duplicate. */\r
++/* Returns TRUE iff name and/or addr is considered duplicate. */\r
+ static notmuch_bool_t\r
+ is_duplicate (const search_context_t *ctx, const char *name, const char *addr)\r
+ {\r
+     notmuch_bool_t duplicate;\r
+     char *key;\r
++    gchar *addrfold = NULL;\r
+     mailbox_t *mailbox;\r
\r
+-    key = talloc_asprintf (ctx->format, "%s <%s>", name, addr);\r
++    if (ctx->filter_by == FILTER_BY_ADDRFOLD ||\r
++      ctx->filter_by == FILTER_BY_NAMEADDRFOLD)\r
++      addrfold = g_utf8_casefold (addr, -1);\r
++\r
++    switch (ctx->filter_by) {\r
++    case FILTER_BY_NAMEADDR:\r
++      key = talloc_asprintf (ctx->format, "%s <%s>", name, addr);\r
++      break;\r
++    case FILTER_BY_NAMEADDRFOLD:\r
++      key = talloc_asprintf (ctx->format, "%s <%s>", name, addrfold);\r
++      break;\r
++    case FILTER_BY_NAME:\r
++      key = talloc_strdup (ctx->format, name); /* !name results in !key */\r
++      break;\r
++    case FILTER_BY_ADDR:\r
++      key = talloc_strdup (ctx->format, addr);\r
++      break;\r
++    case FILTER_BY_ADDRFOLD:\r
++      key = talloc_strdup (ctx->format, addrfold);\r
++      break;\r
++    default:\r
++      INTERNAL_ERROR("invalid --filter-by flags");\r
++    }\r
++\r
++    if (addrfold)\r
++      g_free (addrfold);\r
++\r
+     if (! key)\r
+       return FALSE;\r
\r
+@@ -694,10 +730,18 @@ notmuch_address_command (notmuch_config_t *config, int argc, char *argv[])\r
+                                 { "recipients", OUTPUT_RECIPIENTS },\r
+                                 { "count", OUTPUT_COUNT },\r
+                                 { 0, 0 } } },\r
++      { NOTMUCH_OPT_KEYWORD, &ctx->filter_by, "filter-by", 'b',\r
++        (notmuch_keyword_t []){ { "nameaddr", FILTER_BY_NAMEADDR },\r
++                                { "name", FILTER_BY_NAME },\r
++                                { "addr", FILTER_BY_ADDR },\r
++                                { "addrfold", FILTER_BY_ADDRFOLD },\r
++                                { "nameaddrfold", FILTER_BY_NAMEADDRFOLD },\r
++                                { 0, 0 } } },\r
+       { NOTMUCH_OPT_INHERIT, &common_options, NULL, 0, 0 },\r
+       { 0, 0, 0, 0, 0 }\r
+     };\r
\r
++    ctx->filter_by = FILTER_BY_NAMEADDR,\r
+     opt_index = parse_arguments (argc, argv, options, 1);\r
+     if (opt_index < 0)\r
+       return EXIT_FAILURE;\r
+diff --git a/test/T097-address-filter-by.sh b/test/T097-address-filter-by.sh\r
+new file mode 100755\r
+index 0000000..544d8e8\r
+--- /dev/null\r
++++ b/test/T097-address-filter-by.sh\r
+@@ -0,0 +1,73 @@\r
++#!/usr/bin/env bash\r
++test_description='duplicite address filtering in "notmuch address"'\r
++. ./test-lib.sh\r
++\r
++add_message '[to]="John Doe <foo@example.com>, John Doe <bar@example.com>"'\r
++add_message '[to]="\"Doe, John\" <foo@example.com>"' '[cc]="John Doe <Bar@Example.COM>"'\r
++add_message '[to]="\"Doe, John\" <foo@example.com>"' '[bcc]="John Doe <Bar@Example.COM>"'\r
++\r
++test_begin_subtest "--output=recipients"\r
++notmuch address --output=recipients "*" >OUTPUT\r
++cat <<EOF >EXPECTED\r
++John Doe <foo@example.com>\r
++John Doe <bar@example.com>\r
++"Doe, John" <foo@example.com>\r
++John Doe <Bar@Example.COM>\r
++EOF\r
++test_expect_equal_file OUTPUT EXPECTED\r
++\r
++test_begin_subtest "--output=recipients --filter-by=nameaddr"\r
++notmuch address --output=recipients --filter-by=nameaddr "*" >OUTPUT\r
++# The same as above\r
++cat <<EOF >EXPECTED\r
++John Doe <foo@example.com>\r
++John Doe <bar@example.com>\r
++"Doe, John" <foo@example.com>\r
++John Doe <Bar@Example.COM>\r
++EOF\r
++test_expect_equal_file OUTPUT EXPECTED\r
++\r
++test_begin_subtest "--output=recipients --filter-by=name"\r
++notmuch address --output=recipients --filter-by=name "*" >OUTPUT\r
++cat <<EOF >EXPECTED\r
++John Doe <foo@example.com>\r
++"Doe, John" <foo@example.com>\r
++EOF\r
++test_expect_equal_file OUTPUT EXPECTED\r
++\r
++test_begin_subtest "--output=recipients --filter-by=addr"\r
++notmuch address --output=recipients --filter-by=addr "*" >OUTPUT\r
++cat <<EOF >EXPECTED\r
++John Doe <foo@example.com>\r
++John Doe <bar@example.com>\r
++John Doe <Bar@Example.COM>\r
++EOF\r
++test_expect_equal_file OUTPUT EXPECTED\r
++\r
++test_begin_subtest "--output=recipients --filter-by=addrfold"\r
++notmuch address --output=recipients --filter-by=addrfold "*" >OUTPUT\r
++cat <<EOF >EXPECTED\r
++John Doe <foo@example.com>\r
++John Doe <bar@example.com>\r
++EOF\r
++test_expect_equal_file OUTPUT EXPECTED\r
++\r
++test_begin_subtest "--output=recipients --filter-by=nameaddrfold"\r
++notmuch address --output=recipients --filter-by=nameaddrfold "*" >OUTPUT\r
++cat <<EOF >EXPECTED\r
++John Doe <foo@example.com>\r
++John Doe <bar@example.com>\r
++"Doe, John" <foo@example.com>\r
++EOF\r
++test_expect_equal_file OUTPUT EXPECTED\r
++\r
++test_begin_subtest "--output=recipients --filter-by=nameaddrfold --output=count"\r
++notmuch address --output=recipients --filter-by=nameaddrfold --output=count "*" | sort -n >OUTPUT\r
++cat <<EOF >EXPECTED\r
++1     John Doe <foo@example.com>\r
++2     "Doe, John" <foo@example.com>\r
++3     John Doe <bar@example.com>\r
++EOF\r
++test_expect_equal_file OUTPUT EXPECTED\r
++\r
++test_done\r
+-- \r
+2.1.1\r
+\r