test: add tests for message only search

This adds three tests for --output=messages searches. One test is for
the case when one exclude tag does not occur in the Xapian
database. This triggers a Xapian bug in some cases and causes the
whole exclusion to fail. The next commit avoids this bug.

test: the test for the exclude code mistakenly excludes the tag "="

The tests for the exclude code in search and count use the line
    notmuch config set search.exclude_tags = deleted
which actually sets the exclude tags to be "=" and "deleted". Remove
the "=" from this line.

lib: Add exclude query debug output

lib: Expose query debug output via an environment variable

Allow query debugging to be enabled at run-time by setting the
NOTMUCH_DEBUG_QUERY environment variable to a non-empty string.

Previously, enabling query debugging required recompiling, but parsed
queries are often useful for tracking down bugs in situations where
recompiling is inconvenient.

cli: Parsing. Allow true/false parameter for boolean options.

Allow NOTMUCH_OPT_BOOLEAN to take a true or false parameter.  In
particular it allows the user to turn off a boolean option with
--option=false.

test: use subtest name for generated message subject by default

Before the change, messages generated by generate_message() used "Test
message #N" for default subject where N is the generated messages
counter.  Since message subject is commonly present in expected
results, there is a chance of breaking other tests when a new
generate_message() call is added.  The patch changes default subject
value for generated messages to subtest name if it is available.  If
subtest name is not available (i.e. message is generated during test
initialization), the old default value is used (in this case it is
fine to have the counter in the subject).

Another benefit of this change is a sane default value for subject in
generated messages, which would allow to simplify code like:

  test_begin_subtest "test for a cool feature"
  add_message [subject]="message for test for a cool feature"

test: remove "Generate some messages" test from raw

Before the change, the first subtest in raw format tests just
generated messages and checked that they are added successfully.  This
is not really a raw format test, it is creating of environment
required for other subtests to run.  The patch removes the first
subtest from raw and replaces it with bare add_message calls, similar
to how it is done in other tests.

TODO: we should check that test environment was created successfully.
Currently, many tests do add_message(), notmuch new and other calls
without checking the results.  We should come up with a general
solution for this, i.e. if any command during test initialization
fails, all tests should be skipped with appropriate error message.

man: Update raw format documentation

show: Convert raw format to the new self-recursive style, properly support interior parts

This is fully compatible for root and leaf parts, but now has proper
support for interior parts.  This requires some design decisions that
were guided by what I would want if I were to save a part.
Specifically:

- Leaf parts are printed without headers and with transfer decoding.
  This is what makes sense for saving attachments.  (Furthermore, the
  transfer decoding is necessary since, without the headers, the
  caller would not be able to interpret non-transfer-decoded output.)

- Message parts are printed with their message headers, but without
  enclosing part headers.  This is what makes sense for saving a
  message as a whole (which is a message part) and for saving attached
  messages.  This is symmetric for whole messages and for attached
  messages, though we special-case the whole message for performance
  reasons (and corner-case correctness reasons: given malformed input,
  GMime may not be able to reproduce it from the parsed
  representation).

- Multipart parts are printed with their headers and all child parts.
  It's not clear what the best thing to do for multipart is, but this
  was the most natural to implement and can be justified because such
  parts can't be interpreted without their headers.

As an added benefit, we can move the special-case code for part 0 into
the raw formatter.

show: Move format_part_content_raw with the other new-style formats

Just code motion.

show: Convert mbox format to new self-recursive style

Given the lack of recursion, this is pretty easy.

show: Move format_message_mbox with the other new-style formats

Just code motion.

show: Allow formatters to return errors

Formatter errors are propagated to the exit status of notmuch show.

This isn't used by the JSON or text formatters, but it will be useful
for the raw format, which is pickier.

test: Fix malformed multipart message

Previously, there was only one CRLF between the terminating boundary
of the embedded multipart/alternative and the boundary of the
containing multipart.  However, according the RFC 1341, 7.2.1:

  The boundary must be followed immediately either by another CRLF and
  the header fields for the next part, or by two CRLFs, in which case
  there are no header fields for the next part

and

  The CRLF preceding the encapsulation line is considered part of the
  boundary so that it is possible to have a part that does not end
  with a CRLF (line break).

Thus, there must be *two* CRLFs between these boundaries: one that
ends the terminating boundary and one that begins the enclosing
boundary.

While GMime accepted the message we had before, it could not produce
such a message.

test: Fix typo in test description

Part 4 is a multipart, not an html part.

Merge tag '0.12_rc2'

notmuch 0.12~rc2 release

debian: changelog stanza for 0.12~rc2

mention the two bugfixes

bump version to 0.12~rc2

python: fix signature of two wrapped libnotmuch functions

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

Fix error reporting in notmuch_database_find_message_by_filename

Formerly it was possible for *message_ret to be left
uninitialized. The documentation however clearly states that "[o]n any
failure or when the message is not found, this function initializes
'*message' to NULL".

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

Merge branch 'release'

NEWS: emacs: enable `notmuch-search-line-faces' by default

Merge branch 'release'

NEWS: cli: manual page for notmuch configuration options

NEWS: emacs: inline patch fake attachment file names

NEWS: emacs: support text/calendar MIME type

NEWS: emacs: show view archiving key binding changes

NEWS: emacs: Fix MML tag quoting in replies

Merge branch 'release'

debian: bump gmime dependency to 2.6.7

As explained in f34613e, if using gmime 2.6, we want at least 2.6.7

man: update SEE ALSO references in man pages

Drop references to notmuch-part(1). Reference all man pages. Fix man
page section of notmuch-dump(1).

build: Require gmime >= 2.6.7

gmime-2.6 had a bug [1] which made it impossible to tell why a signature
verification failed when the signer key was unavailable (empty "sigstatus" field
in the JSON output). Since 00b5623d the corresponding test is marked as broken
when using gmime-2.6 (2.4 is fine).

This bug has been fixed in gmime 2.6.5, which is now the minimal gmime-2.6
version required for building notmuch (gmime-2.4 is still available). As a
consequence the version check in test/crypto can be removed.

[Added by db]

Although less unambigously a bug, Gmime 2.6 prior to 2.6.7 also was
more strict about parsing, and rejected messages with initial "From "
headers.  This restriction is relaxed in [2].  For reasons explained in [3],
we want to keep this more relaxed parsing for now.

[1] https://bugzilla.gnome.org/show_bug.cgi?id=668085

[2] http://git.gnome.org/browse/gmime/commit/?id=d311f576baf750476e06e9a1367a2dc1793ea7eb

[3] id:"1331385931-1610-1-git-send-email-david@tethera.net"

Merge branch 'release'

Fix configure script to properly detect gmime-2.6 if available.

Previously, the configure script would appear to detect gmime-2.6 if
present.  However, the binaries would end up being compiled against
gmime-2.4.  The addition of a break fixes things so that now gmime-2.6
will be used if available, falling back to gmime-2.4.

Handle errors in mime_node_open

emacs: fix MML quoting in replies

The reply MML quoting added in commit ae438cc unintentionally MML
quotes also the signature/encryption MML tags added via
message-setup-hook, causing the reply not to be signed/encrypted.

MML quote just the original message in the temp buffer before
inserting it to the message buffer, to not interfere with message mode
hooks or message construction in general.

See [1] and [2] for bug reports.

Thanks to Tim Bielawa <tbielawa@redhat.com> for testing.

[1] id:"87hay78x6l.fsf@wyzanski.jamesvasile.com"
[2] id:"1330812262-28272-1-git-send-email-tbielawa@redhat.com".

Signed-off-by: Jani Nikula <jani@nikula.org>

emacs-hello: Do not calculate the count of the messages in hidden sections

The result is that hello screen shows much faster when some sections are
hidden.

Make exclusion visible again

This reverts

dfee0f9 man: remove search.exclude_tags from notmuch-config.1 for 0.12
e83409d NEWS: revert NEWS item for exclude tags for 0.12
e77b031 config: disable addition of exclude tags for 0.12

Merge branch 'release'

Actually close the xapian database in notmuch_database_close

Formerly the xapian database object was deleted and closed in its
destructor once the object was garbage collected. Explicitly call
close() so that the database and the associated lock is released
immediately.

The comment is a courtesy of Austin Clements.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

debian: Bump standards version

No actual changes are needed.

debian: update .gitignore

Ignore individual binary package directories.

debian: add notmuch_query_add_tag_exclude to exported symbols

This symbol is added in 0.12, although we are "stealthing" the feature
overall.

man: remove search.exclude_tags from notmuch-config.1 for 0.12

NEWS: revert NEWS item for exclude tags for 0.12

config: disable addition of exclude tags for 0.12

This disables the addition of search_exclude_tags in notmuch-setup and
notmuch-config.

emacs: notmuch.el ignore excluded matches

This is a small change to make notmuch.el ignore excluded matches.  In
the future it could do something better like add a button for
rerunning the search with the excludes (particularly if nothing
matches with the excludes) or having them invisible and allowing the
visibility to be toggled.

emacs: show: recognize the exclude flag.

Show mode will recognize the exclude flag by not opening excluding
messages by default, and will start at the first matching non-excluded
message. If there are no matching non-excluded messages it will go to
the first matching (necessarily excluded) message.

cli: omit excluded messages in results where appropriate.

In all cases of notmuch count/search/show where the results returned
cannot reflect the exclude flag return just the matched not-excluded
results. If the caller wishes to have all the matched results (i.e.,
including the excluded ones) they should call with the
--no-exclude option.

The relevant cases are
    count: both threads and messages
    search: all cases except the summary view
    show: mbox format

man: update manpage for notmuch-show --no-exclude option

test: update tests to reflect the exclude flag

notmuch show outputs the exclude flag so many tests using notmuch
show failed. This commit adds "excluded:0" or "excluded: false" to
the expected outputs. After this commit there should be no failing
tests.

cli: Make notmuch-show respect excludes.

This adds the excludes to notmuch-show.c. We do not exclude when only
a single message (or part) is requested. notmuch-show will output the
exclude information when either text or json format is requested. As
this changes the output from notmuch-show it breaks many tests (in a
trivial and expected fashion).

test: update search test to reflect exclude flag

notmuch-search.c now returns all matching threads even if it the
match is a search.tag_excluded message (but with a mark indicating
this). Update the test to reflect this.

lib: Add the exclude flag to notmuch_query_search_threads

Add the NOTMUCH_MESSAGE_FLAG_EXCLUDED flag to
notmuch_query_search_threads. Implemented by inspecting the tags
directly in _notmuch_thread_create/_thread_add_message rather than as
a Xapian query for speed reasons.

Note notmuch_thread_get_matched_messages now returns the number of
non-excluded matching messages. This API is not totally desirable but
fixing it means breaking binary compatibility so we delay that.

lib: Make notmuch_query_search_messages set the exclude flag

Add a flag NOTMUCH_MESSAGE_FLAG_EXCLUDED which is set by
notmuch_query_search_messages for excluded messages. Also add an
option omit_excluded_messages to the search that we do not want the
excludes at all.

This exclude flag will be added to notmuch_query_search threads in the
next patch.

lib: Rearrange the exclude code in query.cc

Slightly refactor the exclude code to give the callers access to the
exclude query itself. There should be no functional change.

test: add tests for new cli --no-exclude option

The tests test the new --no-exclude option to search and count.
There were no existing tests for the exclude behaviour for count so
added these too.

cli: Add --no-exclude to the man pages for search and count

cli: add --no-exclude option to count and search.

This option turns off the exclusion so all matching messages are
returned. We do not need to add this to notmuch-show as that does not
(yet) exclude.

Spelling fix

Retreive is spelled as r e t r i e v e .

emacs: retain show buffer state after retrieving gpg key

After retrieving gpg key retain show buffer state like in
all other operations (i.e. no other calls to notmuch-show-refresh-view
provides optional reset-state argument).
Emacs MUA keeps current message under cursor instead of going first
open message(possibly marking it read).

NEWS: add entry for `notmuch-show-stash-mlarchive-link{,-and-go}'

show: Further general simplifications of the JSON formatter

show: Make format_part_sigstatus_json's API consistent between GMIME 2.4 and 2.6

The implementation is still different for GMIME 2.4 and 2.6, but at
least now the caller doesn't have to be aware of this.

show: Make JSON helper functions print complete objects

This makes the main recursive function easier to follow because helper
functions don't add fields to the running object.

show: Simplify talloc use in format_headers_json

Previously there was an unnecessary talloc context.

show: Unify JSON header output for messages and message parts

This has three ramifications:
- Blank To and Cc headers are no longer output for messages.
- Dates are now canonicalized for messages, which means they always
  have a day of the week and GMT is printed +0000 (never -0000)
- Invalid From message headers are handled slightly differently, since
  they get parsed by GMime now instead of notmuch.

show: Use consistent header ordering in the JSON format

Previously, top-level message headers were printed as Subject, From,
To, Date, while embedded message headers were printed From, To,
Subject, Date.  This makes both cases use the former order and updates
the tests accordingly.

show: Convert JSON format to the new self-recursive style

As before, this is all code movement and a smidgen of glue.  This
moves the existing JSON formatter code into one self-recursive
function, but doesn't change any of the logic to take advantage of the
new structure.

In general, "leafs" of the JSON structure are left in helper functions
(most of them untouched), so that it's easy to see the overall
structure of the format from the main recursive function.

emacs: Tests for user-defined sections

A new file was added for notmuch-hello tests.

emacs: User-defined sections in notmuch-hello

This patch makes the notmuch-hello screen fully customizable
by allowing the user to add and remove arbitrary sections. It
also provides some convenience functions for constructing sections,
e.g. showing the unread message count for each tag.

This is done by specifying a list of functions that will be run
when notmuch-hello is invoked.

add minimal changelog stanza for 0.12~rc1

bump version to 0.12~rc1

As usual, only `version' is edited by hand. The rest of the changes I
blame on the machine.

emacs: Clarify description of thread manipulating functions

It is not clear whether the term "thread" refers to the thread in the
database or to the thread currently shown in a buffer. Those two
meanings may refer to different sets of messages, e.g. when a new email
is added to the database while the buffer shows the state before the new
email arrived.

This patch replaces the term thread with the term current buffer, which
is hopefully less ambiguous.

test: Remove 'broken' flag from encoding test

Convert non-UTF-8 parts to UTF-8 before indexing them

This fixes a bug that didn't allow to search for non-ASCII words such
parts. The code here was copied from show_text_part_content(), because
the show command already does the needed conversion when showing the
message.

test: Add test for searching of uncommonly encoded messages

Emails that are encoded differently than as ASCII or UTF-8 are not
indexed properly by notmuch. It is not possible to search for non-ASCII
words within those messages.

doc: minor corrections in notmuch-config.1

* man/man1/notmuch-config.1

  - SYNOPSIS:
    Remove spaces in 'section.item' arg, and indicate that
    `notmuch config set' accepts multiple value args.

  - DESCRIPTION:
    Correct config option to exclude tags from search results.
    ('search.exclude_tags' instead of 'search.exclude')

Also see commit bb8ab4c8.

News for Make buttons for attachments allow viewing as well as saving

On Sat, 21 Jan 2012 09:09:58 -0400, David Bremner <david@tethera.net> wrote:
> On Fri, 20 Jan 2012 09:44:06 +0000, Mark Walters <markwalters1009@gmail.com> wrote:
> > Define a keymap for attachment buttons to allow multiple actions.
> > Define 3 possible actions:
> >     save attachment: exactly as currently,
> >     view attachment: uses mailcap entry,
> >     view attachment with user chosen program
>
> pushed.

Here is a News patch for this feature.

Best wishes

Mark

From fde33258850a438f1810e4158c946b3cf185b5e8 Mon Sep 17 00:00:00 2001
From: Mark Walters <markwalters1009@gmail.com>
Date: Wed, 29 Feb 2012 09:26:17 +0000
Subject: [PATCH] News item for allowing attachment buttons to view as well as save.

man: add references to maildir flag synchronization

notmuch new, restore, and tag commands support maildir flag
synchronization with notmuch tags. Reference the notmuch-config(1) man
page about it in the relevant man pages.

man: document the notmuch configuration settings in notmuch-config(1)

At the risk of duplication between the man page and the configuration
file generated by default, document the notmuch configuration options
in the notmuch config man page.

Existing users of notmuch should not be expected to re-generate their
config file in order to get access to the documentation for new
configuration options.

Include some minor fixes and cleanups while at it.

emacs: Fix out of date comment

The behavior of the header line in show-mode changed from showing the
subject of the first open message to showing the subject of the first
message in 4d77f18b.  Update a comment to reflect this.

Document the JSON schemata used by show and search

NEWS: sync 'new.ignore' entry with its comment in notmuch-config.c

See previous commit.

cli: update 'new.ignore' config file comment wrt file/directory matching

Build-Depend on libgmime-2.6-dev | libgmime2.4-dev

libgmime-2.6-dev entered debian unstable today.  If 2.6 is available,
notmuch should build against 2.6 instead of 2.4, as 2.6 is the current
upstream stable version of libgmime.

News for retaining state when refreshing notmuch show

emacs: Reverse the meaning of notmuch-show-refresh-view's argument

Consensus seems to be that people prefer that refreshing show buffers
retains state by default, rather than resetting it by default.  This
turns out to be the case in the code, as well.  In fact, there's even
a test for this that's been marked broken for several months, which
this patch finally gets to mark as fixed.

emacs: When refreshing a show buffer, only mark read when resetting state

If we retain state while refreshing a show buffer, it should not mark
any messages read since it's not a navigation operation (it especially
shouldn't mark the first message matching the query read, which is
what it did previously).  If the user or caller requests that refresh
reset the state of the buffer, then we consider that a navigation
operation, so we do mark the message under point after the refresh
read.

This is implemented by moving responsibility for initial positioning
and read-marking out of notmuch-show-worker and into its caller.
Since notmuch-show-worker is now exclusively about building the show
buffer, we rename it to notmuch-show-build-buffer.

emacs: add `notmuch-show-stash-mlarchive-link{, -and-go}'

* emacs/notmuch-show.el

  (notmuch-show-stash-mlarchive-link-alist):
    New defcustom of type `alist' (key = name, value = URI),
    containing Mailing List Archive URI's for searching by Message-Id.

  (notmuch-show-stash-mlarchive-link-default):
    New defcustom, default MLA to use when `notmuch-show-stash-mlarchive-link'
    received no user input whatsoever.  Available choices are generated using
    the contents of `notmuch-show-stash-mlarchive-link-alist'.

  (notmuch-show-stash-map):
    Added keybinds "l" and "L" for `notmuch-show-stash-mlarchive-link'
    respectively `notmuch-show-stash-mlarchive-link-and-go'.

  (notmuch-show-stash-mlarchive-link):
    New function, stashes a URI pointing to the current message at one
    of the MLAs configured in `notmuch-show-stash-mlarchive-link-alist'.
    Prompts user with `completing-read' if not provided with an MLA key.

  (notmuch-show-stash-mlarchive-link-and-go):
    New function, uses `notmuch-show-stash-mlarchive-link' to
    stash a URI, and then visits it using the browser configured
    in `browse-url-browser-function'.

Based on original work [1] by David Edmondson <dme@dme.org>.

[1] id:"1327397873-20596-1-git-send-email-dme@dme.org"

test: emacs: expand subtest "Stashing in notmuch-show" wrt stashing Mailing List Archive URIs

`notmuch-show-stash-mlarchive-link' stashes a URI pointing to the current message
at one of the MLAs configured in `notmuch-show-stash-mlarchive-link-alist'.

Marked as "broken": fixed in next commit.

emacs: `notmuch-show-get-message-id': optionally return Message-Id sans prefix

* emacs/notmuch-show.el

  (notmuch-show-get-message-id):
    Add optional arg BARE.  When non-nil, return a Message-Id without
    quotes and prefix, thus obviating the need to strip them off again
    in various places.

  (notmuch-show-stash-message-id-stripped):
    Update wrt changes in `notmuch-show-get-message-id'.

NEWS: add entry for the improved unicode handling in the python bindings

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

NEWS: add entry for python 3.2 compatibility

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

emacs: support text/calendar mime type

Replace text/x-vcalendar with text/calendar, while maintaining support
and backwards compatibility for text/x-vcalendar.

Code by David Edmondson <dme@dme.org>

test: replace occurrences of $PWD with vars that are more stable

Thanks to Dmitry Kurochkin <dmitry.kurochkin@gmail.com>
for pointing this out:  id:"87d39ymyb4.fsf@gmail.com"

python: split the documentation

Move each classes documentation into its own file and thus into its
own page in the generated documentation.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: move the notmuch module section to notes.rst

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: move the usage example to quickstart.rst

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: strip module prefix in the sphinx documentation

Remove the notmuch prefix from classes in the documentation. This
change makes the table of contents look much nicer.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>