Re: [PATCH v2 2/4] cli: Extend the search command for --output=addresses and similar
authorTomi Ollila <tomi.ollila@iki.fi>
Mon, 6 Oct 2014 18:56:11 +0000 (21:56 +0300)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 18:05:05 +0000 (10:05 -0800)
8f/ae9eed306fdf3fad36df9ebf5bf3b08a9479e0 [new file with mode: 0644]

diff --git a/8f/ae9eed306fdf3fad36df9ebf5bf3b08a9479e0 b/8f/ae9eed306fdf3fad36df9ebf5bf3b08a9479e0
new file mode 100644 (file)
index 0000000..cf84e62
--- /dev/null
@@ -0,0 +1,421 @@
+Return-Path: <tomi.ollila@iki.fi>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id 4CD04431FC0\r
+       for <notmuch@notmuchmail.org>; Mon,  6 Oct 2014 11:56:31 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: 0\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=0 tagged_above=-999 required=5 tests=[none]\r
+       autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id iPIP+F4mailb for <notmuch@notmuchmail.org>;\r
+       Mon,  6 Oct 2014 11:56:27 -0700 (PDT)\r
+Received: from guru.guru-group.fi (guru.guru-group.fi [46.183.73.34])\r
+       by olra.theworths.org (Postfix) with ESMTP id 42089431FBF\r
+       for <notmuch@notmuchmail.org>; Mon,  6 Oct 2014 11:56:27 -0700 (PDT)\r
+Received: from guru.guru-group.fi (localhost [IPv6:::1])\r
+       by guru.guru-group.fi (Postfix) with ESMTP id 946B410009D;\r
+       Mon,  6 Oct 2014 21:56:11 +0300 (EEST)\r
+From: Tomi Ollila <tomi.ollila@iki.fi>\r
+To: Michal Sojka <sojkam1@fel.cvut.cz>, notmuch@notmuchmail.org\r
+Subject: Re: [PATCH v2 2/4] cli: Extend the search command for\r
+       --output=addresses      and similar\r
+In-Reply-To: <1412542319-20017-3-git-send-email-sojkam1@fel.cvut.cz>\r
+References: <874mvqxrnp.fsf@nikula.org>\r
+       <1412542319-20017-1-git-send-email-sojkam1@fel.cvut.cz>\r
+       <1412542319-20017-3-git-send-email-sojkam1@fel.cvut.cz>\r
+User-Agent: Notmuch/0.18.1+130~ga61922f (http://notmuchmail.org) Emacs/24.3.1\r
+       (x86_64-unknown-linux-gnu)\r
+X-Face: HhBM'cA~<r"^Xv\KRN0P{vn'Y"Kd;zg_y3S[4)KSN~s?O\"QPoL\r
+       $[Xv_BD:i/F$WiEWax}R(MPS`^UaptOGD`*/=@\1lKoVa9tnrg0TW?"r7aRtgk[F\r
+       !)g;OY^,BjTbr)Np:%c_o'jj,Z\r
+Date: Mon, 06 Oct 2014 21:56:11 +0300\r
+Message-ID: <m24mvht4c4.fsf@guru.guru-group.fi>\r
+MIME-Version: 1.0\r
+Content-Type: text/plain; charset=utf-8\r
+Content-Transfer-Encoding: quoted-printable\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Mon, 06 Oct 2014 18:56:31 -0000\r
+\r
+On Sun, Oct 05 2014, Michal Sojka <sojkam1@fel.cvut.cz> wrote:\r
+\r
+> The new outputs allow printing senders, recipients or both of matching\r
+> messages.\r
+>\r
+> This code based on a patch from Jani Nikula.\r
+\r
+OK, IMO...\r
+\r
+1/4 OK\r
+\r
+Before 2/4 add support for 'flag' arguments, drop the --output=3Daddresses\r
+option which is now done as --output=3Dsender --output=3Drecipients\r
+\r
+\r
+In deduplication comment did not describe the deduplication at all...\r
+so I looked a bit into the code now... the Default you described was\r
+that with "John Doe" <john.doe@example.com> and "John Doe" <JOHN.DOE@EXAMPL=\r
+E.COM>=20\r
+only one was printed (but not which one). Secondly, what happens\r
+with "Doe, John" <john.doe@example.com> and "John Doe" <JOHN.DOE@EXAMPLE.CO=\r
+M>...\r
+ah, it is same as *addr* with case-insensitive address.\r
+\r
+Sorry, but IMO these options are a bit strange.\r
+\r
+Not to go to choose which one to choose (first, last, most common) instead\r
+of the suggested options these should be the ones:\r
+\r
+1) "John Doe" <john.doe@example.com> and "John Doe" <JOHN.DOE@EXAMPLE.COM>:=\r
+=20\r
+only one printed, but if either were "Dr. John Doe", both of these are prin=\r
+ted\r
+(this as default).\r
+\r
+2) same as above, but only make case-insensitive address match -- i.e. in\r
+the 2 above cases in option 1, print only one.\r
+\r
+(and same name but different address to perhaps never been an option...)\r
+\r
+I might like to have option that does case-sensitive address match, In\r
+those cases I don't know the recipient's culture and the email he sent\r
+to me used format <Foo.Bar@example.org> (and not knowing which one is the\r
+first and which last name (or whatever names these are) -- just to reply\r
+in same case format in respect...\r
+\r
+\r
+Tomi\r
+\r
+\r
+> ---\r
+>  completion/notmuch-completion.bash |   2 +-\r
+>  completion/notmuch-completion.zsh  |   3 +-\r
+>  doc/man1/notmuch-search.rst        |  22 +++++++-\r
+>  notmuch-search.c                   | 100 +++++++++++++++++++++++++++++++=\r
++++---\r
+>  test/T090-search-output.sh         |  64 ++++++++++++++++++++++++\r
+>  5 files changed, 182 insertions(+), 9 deletions(-)\r
+>\r
+> diff --git a/completion/notmuch-completion.bash b/completion/notmuch-comp=\r
+letion.bash\r
+> index 0571dc9..c37ddf5 100644\r
+> --- a/completion/notmuch-completion.bash\r
+> +++ b/completion/notmuch-completion.bash\r
+> @@ -294,7 +294,7 @@ _notmuch_search()\r
+>          return\r
+>          ;;\r
+>      --output)\r
+> -        COMPREPLY=3D( $( compgen -W "summary threads messages files tags" -=\r
+- "${cur}" ) )\r
+> +        COMPREPLY=3D( $( compgen -W "summary threads messages files tags se=\r
+nder recipients addresses" -- "${cur}" ) )\r
+>          return\r
+>          ;;\r
+>      --sort)\r
+> diff --git a/completion/notmuch-completion.zsh b/completion/notmuch-compl=\r
+etion.zsh\r
+> index 67a9aba..bff8fd5 100644\r
+> --- a/completion/notmuch-completion.zsh\r
+> +++ b/completion/notmuch-completion.zsh\r
+> @@ -52,7 +52,8 @@ _notmuch_search()\r
+>    _arguments -s : \\r
+>      '--max-threads=3D[display only the first x threads from the search r=\r
+esults]:number of threads to show: ' \\r
+>      '--first=3D[omit the first x threads from the search results]:number=\r
+ of threads to omit: ' \\r
+> -    '--sort=3D[sort results]:sorting:((newest-first\:"reverse chronologi=\r
+cal order" oldest-first\:"chronological order"))'\r
+> +    '--sort=3D[sort results]:sorting:((newest-first\:"reverse chronologi=\r
+cal order" oldest-first\:"chronological order"))' \\r
+> +    '--output=3D[select what to output]:output:((summary threads message=\r
+s files tags sender recipients addresses))'\r
+>  }\r
+>=20=20\r
+>  _notmuch()\r
+> diff --git a/doc/man1/notmuch-search.rst b/doc/man1/notmuch-search.rst\r
+> index 90160f2..3447820 100644\r
+> --- a/doc/man1/notmuch-search.rst\r
+> +++ b/doc/man1/notmuch-search.rst\r
+> @@ -35,7 +35,7 @@ Supported options for **search** include\r
+>          intended for programs that invoke **notmuch(1)** internally. If\r
+>          omitted, the latest supported version will be used.\r
+>=20=20\r
+> -    ``--output=3D(summary|threads|messages|files|tags)``\r
+> +    ``--output=3D(summary|threads|messages|files|tags|sender|recipients|=\r
+addresses)``\r
+>=20=20\r
+>          **summary**\r
+>              Output a summary of each thread with any message matching\r
+> @@ -78,6 +78,26 @@ Supported options for **search** include\r
+>              by null characters (--format=3Dtext0), as a JSON array\r
+>              (--format=3Djson), or as an S-Expression list (--format=3Dse=\r
+xp).\r
+>=20=20\r
+> +    **sender**\r
+> +            Output all addresses from the *From* header that appear on\r
+> +            any message matching the search terms, either one per line\r
+> +            (--format=3Dtext), separated by null characters\r
+> +            (--format=3Dtext0), as a JSON array (--format=3Djson), or as\r
+> +            an S-Expression list (--format=3Dsexp).\r
+> +\r
+> +        Note: Searching for **sender** should be much faster than\r
+> +        searching for **recipients** or **addresses**, because\r
+> +        sender addresses are cached directly in the database\r
+> +        whereas other addresses need to be fetched from message\r
+> +        files.\r
+> +\r
+> +    **recipients**\r
+> +            Like **sender** but for addresses from *To*, *Cc* and\r
+> +        *Bcc* headers.\r
+> +\r
+> +    **addresses**\r
+> +        Like **sender** and **recipients** together.\r
+> +\r
+>      ``--sort=3D``\ (**newest-first**\ \|\ **oldest-first**)\r
+>          This option can be used to present results in either\r
+>          chronological order (**oldest-first**) or reverse chronological\r
+> diff --git a/notmuch-search.c b/notmuch-search.c\r
+> index 5ac2a26..0614f10 100644\r
+> --- a/notmuch-search.c\r
+> +++ b/notmuch-search.c\r
+> @@ -23,11 +23,14 @@\r
+>  #include "string-util.h"\r
+>=20=20\r
+>  typedef enum {\r
+> -    OUTPUT_SUMMARY,\r
+> -    OUTPUT_THREADS,\r
+> -    OUTPUT_MESSAGES,\r
+> -    OUTPUT_FILES,\r
+> -    OUTPUT_TAGS\r
+> +    OUTPUT_SUMMARY  =3D 1 << 0,\r
+> +    OUTPUT_THREADS  =3D 1 << 1,\r
+> +    OUTPUT_MESSAGES =3D 1 << 2,\r
+> +    OUTPUT_FILES    =3D 1 << 3,\r
+> +    OUTPUT_TAGS             =3D 1 << 4,\r
+> +    OUTPUT_SENDER   =3D 1 << 5,\r
+> +    OUTPUT_RECIPIENTS       =3D 1 << 6,\r
+> +    OUTPUT_ADDRESSES        =3D OUTPUT_SENDER | OUTPUT_RECIPIENTS,\r
+>  } output_t;\r
+>=20=20\r
+>  typedef struct {\r
+> @@ -220,6 +223,67 @@ do_search_threads (search_options_t *o)\r
+>      return 0;\r
+>  }\r
+>=20=20\r
+> +static void\r
+> +print_address_list (const search_options_t *o, InternetAddressList *list)\r
+> +{\r
+> +    InternetAddress *address;\r
+> +    int i;\r
+> +\r
+> +    for (i =3D 0; i < internet_address_list_length (list); i++) {\r
+> +    address =3D internet_address_list_get_address (list, i);\r
+> +    if (INTERNET_ADDRESS_IS_GROUP (address)) {\r
+> +        InternetAddressGroup *group;\r
+> +        InternetAddressList *group_list;\r
+> +\r
+> +        group =3D INTERNET_ADDRESS_GROUP (address);\r
+> +        group_list =3D internet_address_group_get_members (group);\r
+> +        if (group_list =3D=3D NULL)\r
+> +            continue;\r
+> +\r
+> +        print_address_list (o, group_list);\r
+> +    } else {\r
+> +        InternetAddressMailbox *mailbox;\r
+> +        const char *name;\r
+> +        const char *addr;\r
+> +        char *full_address;\r
+> +\r
+> +        mailbox =3D INTERNET_ADDRESS_MAILBOX (address);\r
+> +\r
+> +        name =3D internet_address_get_name (address);\r
+> +        addr =3D internet_address_mailbox_get_addr (mailbox);\r
+> +\r
+> +        if (name && *name)\r
+> +            full_address =3D talloc_asprintf (o->format, "%s <%s>", name, addr);\r
+> +        else\r
+> +            full_address =3D talloc_strdup (o->format, addr);\r
+> +\r
+> +        if (!full_address) {\r
+> +            fprintf (stderr, "Error: out of memory\n");\r
+> +            break;\r
+> +        }\r
+> +        o->format->string (o->format, full_address);\r
+> +        o->format->separator (o->format);\r
+> +\r
+> +        talloc_free (full_address);\r
+> +    }\r
+> +    }\r
+> +}\r
+> +\r
+> +static void\r
+> +print_address_string (const search_options_t *o, const char *recipients)\r
+> +{\r
+> +    InternetAddressList *list;\r
+> +\r
+> +    if (recipients =3D=3D NULL)\r
+> +    return;\r
+> +\r
+> +    list =3D internet_address_list_parse_string (recipients);\r
+> +    if (list =3D=3D NULL)\r
+> +    return;\r
+> +\r
+> +    print_address_list (o, list);\r
+> +}\r
+> +\r
+>  static int\r
+>  do_search_messages (search_options_t *o)\r
+>  {\r
+> @@ -266,11 +330,29 @@ do_search_messages (search_options_t *o)\r
+>=20=20=09=20=20=20=20\r
+>          notmuch_filenames_destroy( filenames );\r
+>=20=20\r
+> -    } else { /* output =3D=3D OUTPUT_MESSAGES */\r
+> +    } else if (o->output =3D=3D OUTPUT_MESSAGES) {\r
+>          format->set_prefix (format, "id");\r
+>          format->string (format,\r
+>                          notmuch_message_get_message_id (message));\r
+>          format->separator (format);\r
+> +    } else {\r
+> +        if (o->output & OUTPUT_SENDER) {\r
+> +            const char *addrs;\r
+> +\r
+> +            addrs =3D notmuch_message_get_header (message, "from");\r
+> +            print_address_string (o, addrs);\r
+> +        }\r
+> +\r
+> +        if (o->output & OUTPUT_RECIPIENTS) {\r
+> +            const char *hdrs[] =3D { "to", "cc", "bcc" };\r
+> +            const char *addrs;\r
+> +            size_t j;\r
+> +\r
+> +            for (j =3D 0; j < ARRAY_SIZE (hdrs); j++) {\r
+> +                addrs =3D notmuch_message_get_header (message, hdrs[j]);\r
+> +                print_address_string (o, addrs);\r
+> +            }\r
+> +        }\r
+>      }\r
+>=20=20\r
+>      notmuch_message_destroy (message);\r
+> @@ -370,6 +452,9 @@ notmuch_search_command (notmuch_config_t *config, int=\r
+ argc, char *argv[])\r
+>        (notmuch_keyword_t []){ { "summary", OUTPUT_SUMMARY },\r
+>                                { "threads", OUTPUT_THREADS },\r
+>                                { "messages", OUTPUT_MESSAGES },\r
+> +                              { "sender", OUTPUT_SENDER },\r
+> +                              { "recipients", OUTPUT_RECIPIENTS },\r
+> +                              { "addresses", OUTPUT_ADDRESSES },\r
+>                                { "files", OUTPUT_FILES },\r
+>                                { "tags", OUTPUT_TAGS },\r
+>                                { 0, 0 } } },\r
+> @@ -461,6 +546,9 @@ notmuch_search_command (notmuch_config_t *config, int=\r
+ argc, char *argv[])\r
+>      ret =3D do_search_threads (&o);\r
+>      break;\r
+>      case OUTPUT_MESSAGES:\r
+> +    case OUTPUT_SENDER:\r
+> +    case OUTPUT_RECIPIENTS:\r
+> +    case OUTPUT_ADDRESSES:\r
+>      case OUTPUT_FILES:\r
+>      ret =3D do_search_messages (&o);\r
+>      break;\r
+> diff --git a/test/T090-search-output.sh b/test/T090-search-output.sh\r
+> index 947d572..5458de1 100755\r
+> --- a/test/T090-search-output.sh\r
+> +++ b/test/T090-search-output.sh\r
+> @@ -387,6 +387,70 @@ cat <<EOF >EXPECTED\r
+>  EOF\r
+>  test_expect_equal_file OUTPUT EXPECTED\r
+>=20=20\r
+> +test_begin_subtest "--output=3Dsender"\r
+> +notmuch search --output=3Dsender '*' | sort | uniq --count >OUTPUT\r
+> +cat <<EOF >EXPECTED\r
+> +      1 Adrian Perez de Castro <aperez@igalia.com>\r
+> +      2 Alex Botero-Lowry <alex.boterolowry@gmail.com>\r
+> +      4 Alexander Botero-Lowry <alex.boterolowry@gmail.com>\r
+> +      1 Aron Griffis <agriffis@n01se.net>\r
+> +     12 Carl Worth <cworth@cworth.org>\r
+> +      1 Chris Wilson <chris@chris-wilson.co.uk>\r
+> +      1 Fran=C3=A7ois Boulogne <boulogne.f@gmail.com>\r
+> +      1 Ingmar Vanhassel <ingmar@exherbo.org>\r
+> +      1 Israel Herraiz <isra@herraiz.org>\r
+> +      4 Jan Janak <jan@ryngle.com>\r
+> +      2 Jjgod Jiang <gzjjgod@gmail.com>\r
+> +      7 Keith Packard <keithp@keithp.com>\r
+> +      5 Lars Kellogg-Stedman <lars@seas.harvard.edu>\r
+> +      5 Mikhail Gusarov <dottedmag@dottedmag.net>\r
+> +      1 Olivier Berger <olivier.berger@it-sudparis.eu>\r
+> +      1 Rolland Santimano <rollandsantimano@yahoo.com>\r
+> +      3 Stewart Smith <stewart@flamingspork.com>\r
+> +EOF\r
+> +test_expect_equal_file OUTPUT EXPECTED\r
+> +\r
+> +test_begin_subtest "--output=3Drecipients"\r
+> +notmuch search --output=3Drecipients '*' | sort | uniq --count >OUTPUT\r
+> +cat <<EOF >EXPECTED\r
+> +      1 Allan McRae <allan@archlinux.org>\r
+> +      1 Discussion about the Arch User Repository (AUR) <aur-general@arc=\r
+hlinux.org>\r
+> +      1 Keith Packard <keithp@keithp.com>\r
+> +      1 Mikhail Gusarov <dottedmag@dottedmag.net>\r
+> +      2 notmuch <notmuch@notmuchmail.org>\r
+> +     48 notmuch@notmuchmail.org\r
+> +      1 olivier.berger@it-sudparis.eu\r
+> +EOF\r
+> +test_expect_equal_file OUTPUT EXPECTED\r
+> +\r
+> +test_begin_subtest "--output=3Daddresses"\r
+> +notmuch search --output=3Daddresses '*' | sort | uniq --count >OUTPUT\r
+> +cat <<EOF >EXPECTED\r
+> +      1 Adrian Perez de Castro <aperez@igalia.com>\r
+> +      2 Alex Botero-Lowry <alex.boterolowry@gmail.com>\r
+> +      4 Alexander Botero-Lowry <alex.boterolowry@gmail.com>\r
+> +      1 Allan McRae <allan@archlinux.org>\r
+> +      1 Aron Griffis <agriffis@n01se.net>\r
+> +     12 Carl Worth <cworth@cworth.org>\r
+> +      1 Chris Wilson <chris@chris-wilson.co.uk>\r
+> +      1 Discussion about the Arch User Repository (AUR) <aur-general@arc=\r
+hlinux.org>\r
+> +      1 Fran=C3=A7ois Boulogne <boulogne.f@gmail.com>\r
+> +      1 Ingmar Vanhassel <ingmar@exherbo.org>\r
+> +      1 Israel Herraiz <isra@herraiz.org>\r
+> +      4 Jan Janak <jan@ryngle.com>\r
+> +      2 Jjgod Jiang <gzjjgod@gmail.com>\r
+> +      8 Keith Packard <keithp@keithp.com>\r
+> +      5 Lars Kellogg-Stedman <lars@seas.harvard.edu>\r
+> +      6 Mikhail Gusarov <dottedmag@dottedmag.net>\r
+> +      1 Olivier Berger <olivier.berger@it-sudparis.eu>\r
+> +      1 Rolland Santimano <rollandsantimano@yahoo.com>\r
+> +      3 Stewart Smith <stewart@flamingspork.com>\r
+> +      2 notmuch <notmuch@notmuchmail.org>\r
+> +     48 notmuch@notmuchmail.org\r
+> +      1 olivier.berger@it-sudparis.eu\r
+> +EOF\r
+> +test_expect_equal_file OUTPUT EXPECTED\r
+> +\r
+>  test_begin_subtest "sanitize output for quoted-printable line-breaks in =\r
+author and subject"\r
+>  add_message "[subject]=3D'two =3D?ISO-8859-1?Q?line=3D0A_subject?=3D\r
+>      headers'"\r
+> --=20\r
+> 2.1.1\r
+>\r
+> _______________________________________________\r
+> notmuch mailing list\r
+> notmuch@notmuchmail.org\r
+> http://notmuchmail.org/mailman/listinfo/notmuch\r