lib: provide _notmuch_database_log_append

_notmuch_database_log clears the log buffer each time. Rather than
introducing more complicated semantics about for this function, provide
a second function that does not clear the buffer. This is mainly a
convenience function for callers constructing complex or multi-line log
messages.

The changes to query.cc are to make sure that the common code path of
the new function is tested.

test: make gdb even quieter

gdb sometimes writes warnings to stdout, which we don't need/want, and
for some reason --batch-silent isn't enough to hide. So in this commit
we write them to a log file, which is probably better for debugging
anyway. To see an illustrative test failure before this change, run

% make
% touch notmuch-count.c
% cd test && ./T060-count.sh

emacs: express n-search-line-faces in terms of two new faces

The two new faces (notmuch-search-flagged-face and
notmuch-search-unread-face) make it easier to find the relevant face by
customizing notmuch-faces.  I plan to do the same to the other alists of
faces found elsewhere.

create .mailmap file (for git shortlog/blame)

Recently it was suggested on the list that we add a contributor to
AUTHORS. This file has been unmodified for 7 years, and is somewhat out
of date. It would potentially make sense to automagically update this
file during the release process using the output from git shortlog. This
file helps clean up some inconsistencies in author data in the history.

Fix typo in Message.maildir_flags_to_tags

It has been calling _tags_to_maildir_flags instead since the beginning,

Merge branch 'release'

debian: changelog stanza for 0.22.1-2

debian: add explicit build-depends on gnupg

apt dropped it's depends on gnupg, so we can't rely on it being present
in the build env anymore

debian: changelog stanza for 0.22.1-1

Basically copy upstream NEWS

NEWS: set date of point release

version: bump to 0.22

NEWS: initial NEWS for 0.22.1

debian: add changelog stanza for 0.22.1~rc0-1

No actual changes discussed, because the NEWS file is yet to be
created.

version: bump to 0.21.1~rc0

Getting ready for the point release

notmuch-mutt: use env to locate perl for increased portability

Note: this patch drops -w from the shebang line, but we still have
"use warnings" in the script, which is superior anyhow.

Thanks Andreas Tolfsen for the suggestion.

lib: fix definition of LIBNOTMUCH_CHECK_VERSION

Fix bug reported in id:20160606124522.g2y2eazhhrwjsa4h@flatcap.org

Although the C99 standard 6.10 is a little non-obvious on this point,
the docs for e.g. gcc are unambiguous. And indeed in practice with the
extra space, this code fails

#include <stdio.h>
#define foo (x) (x+1)

int main(int argc, char **argv){
  printf("%d\n",foo(1));
}

doc: forbid further operations on a closed database

We could add many null pointer checks, but currently I don't see a use
case that justifies it.

test: don't use dump and restore in a pipeline

This has been wrong since bbbdf0478ea, but the race condition was not
previously been (often?) triggered in the tests. With the DB_RETRY_LOCK
patches, it manifests itself as a deadlock.

lib: add built_with handling for XAPIAN_DB_RETRY_LOCK

This support will be present only if the appropriate version of xapian
is available _and_ the user did not disable the feature when
building. So there really needs to be some way for the user to check.

test: initial tests for locking retry

Currently there's not much to test, so we simulate contention, and check
that the modifications to the database are serialized.

Use the Xapian::DB_RETRY_LOCK flag when available

Xapian 1.3 has introduced the DB_RETRY_LOCK flag (Xapian bug
275). Detect it in configure and optionally use it. With this flag
commands that need the write lock will wait for their turn instead of
aborting when it's not immediately available.

Amended by db: allow disabling in configure

test: don't use dump and restore in a pipeline

This has been wrong since bbbdf0478ea, but the race condition was not
previously been (often?) triggered in the tests. With the DB_RETRY_LOCK
patches, it manifests itself as a deadlock.

doc: forbid further operations on a closed database

We could add many null pointer checks, but currently I don't see a use
case that justifies it.

test/notmuch-test: simple streamlining

A few simple things that applies well to test/notmuch-test.sh

- Shell does pathname expansion also without doing `echo ...` in subshell.

- Redirections >/dev/null 2>/dev/null hide (improbable but) potential
  serious errors; adding -f to rm instead.

- Inter-file capitalization consistency in comments.

- Unnecesary space removal.

emacs: show: improve handling of mark read tagging errors

Previously if a marking read tag change (i.e., removing the unread
tag) failed for some reason, such as a locked database, then no more
mark read tag changes would be attempted in that buffer.

This handles the error more gracefully. There is not much we can do
yet about dealing with the error itself, and marking read is probably
not important enough to warrant keeping a queue of pending changes or
anything.

However this commit changes it so that

- we do try and make future mark read tag changes.

- we display the tag state correctly: i.e. we don't display the tag as
  deleted (no strike through)

- and since we know the tag change failed we can try to mark this
  message read in the future. Indeed, since the code uses the
  post-command hook we will try again on the next keypress (unless the
  user has left the message).

We indicate to the user that these mark read tag changes may have
failed in the header-line.

test: factor out some boilerplate from C tests

The trick of having a common header file doesn't work to share between
test scripts, so make an include file in the test directory.

The use of #include <notmuch-test.h> looks slightly pretentious, but
the include file is not actually in the current (temporary) directory.

Makefile.local: set IS_GIT = yes when regular file $srcdir/.git exists

$srcdir/.git may also be file. E.g. `git worktree` creates .git file
while new working tree is populated.

test: test_python: set PYTHONPATH to the python execution environment

Place PYTHONPATH to the environment when python is executed in a way
that current shell environment is not affected. This also allows adding
the old value of PYTHONPATH to the end of the new value (otherwise it
would have been appended again and again when test_python is called).

At the same time, use -B option to avoid writing .pyc files to
bindings/python/* (which are not cleared out by distclean).

Drop the (unused) prefix code which preserved the original stdout of the
python program and opened sys.stdout to OUTPUT. In place of that there
is now note how (debug) information can be printed to original stdout.

test: set LD_LIBRARY_PATH early and keep its old contents

Previously LD_LIBRARY_PATH was exported (and environment changed)
in the middle of test case execution, when a function setting it
was called.

Previously the old contents of LD_LIBRARY_PATH was lost (if any)
when it was re-set and exported. In some systems the old contents of
LD_LIBRARY_PATH was needed to e.g. locate suitable gmime library.

notmuch-emacs-mua: escape $PWD (and cd always)

Escaping $PWD makes this work in directories like 'foo"bar'...

Cd'ing always makes the working directory to be consistent whether
--body option was used or not (when using emacsclient, but cd'ing
when using emacs does not cause any harm).

Note that documentation of `insert-file` expects programs to
call `insert-file-contents` instead. In our simple case
`insert-file` works better as it does some good checks that we'd
have to implement ourselves. Look lisp/files.el in emacs sources
for more information.

notmuch-emacs-mua: use message-add-actions

Use message.el -provided function message-add-actions to
set(/add) #'save-buffers-kill-terminal into the message-exit-actions
list.

test: fix die() in test-lib-common.sh

In scripts that include test-lib-common.sh but not test-lib.sh
the die() implementation needs to be a bit different due to
fd redirection differences. test-lib-common.sh implements die()
only if it was not implemented already.

test: add function die () and have use of it in add_email_corpus ()

Added die() function to test-lib.sh with the following first use of it:

If notmuch new fails during email corpus addition the database is
most probably inexistent or broken and the added corpus would be
unusable while running single tests, giving misleading failures
("only" full 'make test' cleans out old corpus).

test-lib.sh: renamed die...()s to trap...()s and exit...()

Now the function names more accurately describes what the functions do.

doc/notmuch-emacs.rst: update notmuch-hello buffer help text

To look the same as commit b8a136187a3b changed it in emacs MUA code.

lib: fix definition of LIBNOTMUCH_CHECK_VERSION

Fix bug reported in id:20160606124522.g2y2eazhhrwjsa4h@flatcap.org

Although the C99 standard 6.10 is a little non-obvious on this point,
the docs for e.g. gcc are unambiguous. And indeed in practice with the
extra space, this code fails

#include <stdio.h>
#define foo (x) (x+1)

int main(int argc, char **argv){
  printf("%d\n",foo(1));
}

devel/man-to-mdwn.pl: portable locale environment variable setting

Setting locale environment variables (LC_* and LANG) to e.g.
en_US.utf8 works fine on Linux, and that is what locale -a
returns (in Linux). However this does not work e.g. in some *BSD
systems.
In these systems, en_US.UTF-8 works. This also works in Linux
systems (which may look like a surprising thing on the first sight(*)).
But that *UTF-8 format seems to be widely used in the Linux system:
Grep it through the files in /etc/, for example.

Easy way to test: Run the following command lines. First should
complain about setting locale failed, and second should not.

$ LC_ALL=en_US.UTF-1 perl -e ''
$ LC_ALL=en_US.UTF-8 perl -e ''

(*) and who knows what the "standard" is...

lib: fix memory leak of field processor objects

The field processor objects need to be deallocated explicitly just like
the range processors (or a talloc destructor defined).

doc: clean up boolean vs. probabilistic prefixes

sphinx-build emits a minor warning:

[...]doc/man7/notmuch-search-terms.rst:223: WARNING: Block quote ends without a blank line; unexpected unindent.

And the tabular representation of boolean or probabilistic prefixes
currently renders like this when i view it in man:

       ┌───────────────────────────┬────────────────────────────┐
       │Boolean                    │ Probabilistic              │
       └───────────────────────────┴────────────────────────────┘

       │          tag: id:         │           from: to:        │
       │                           │                            │
       │       thread:     folder: │        subject:    attach‐ │
       │       path:               │        ment: mimetype:     │
       └───────────────────────────┴────────────────────────────┘

This isn't just ugly: it's confusing, because it seems to imply that
some of the prefixes in the left-hand column are somehow related to
specific other prefixes in the right-hand column.

The Definition List representation introduced by this patch should be
simpler for readers to understand, and doesn't have the warning.

doc: document notmuch-dump header line

This was introduced with the libconfig changes, but not documented then.

lib: document config metadata

This probably should have been part of 3458e3c89c, but I missed it.

Use https instead of http where possible

Many of the external links found in the notmuch source can be resolved
using https instead of http.  This changeset addresses as many as i
could find, without touching the e-mail corpus or expected outputs
found in tests.

nmbug: updated to modern URL for PEP 343

update link to Chip Rosenthal article about reply-to munging

The original link is currently returning an internal server error :(

completion: update the location of the bash-completion project

Alioth currently redirects to github, so point there instead.

NEWS, python: update pointer to online documentation

Currently, http://packages.python.org/notmuch/ goes through a series
of redirections and ends up pointing to readthedocs.  Since we're
using readthedocs directly anyway, just point to it directly.

readthedocs are also now sensibly using a separate domain
(readthedocs.io) for their hosted documentation as distinct from their
own domain (readthedocs.org), so use the correct tld.

doc: include notmuch-emacs-mua in documentation ToC

Without this patch, i'm seeing sphinx-build emit:

 [...]doc/man1/notmuch-emacs-mua.rst:: WARNING: document isn't included in any toctree

lib: whitespace cleanup

Cleaned the following whitespace in lib/* files:

lib/index.cc:              1 line:  trailing whitespace
lib/database.cc            5 lines: 8 spaces at the beginning of line
lib/notmuch-private.h:     4 lines: 8 spaces at the beginning of line
lib/message.cc:            1 line:  trailing whitespace
lib/sha1.c:                1 line:  empty lines at the end of file
lib/query.cc:              2 lines: 8 spaces at the beginning of line
lib/gen-version-script.sh: 1 line:  trailing whitespace

lib: add support for named queries

This relies on the optional presense of xapian field processors, and the
library config API.

lib: make a global constant for query parser flags

It's already kindof gross that this is hardcoded in two different
places. We will also need these later in field processors calling back
into the query parser.

CLI: add notmuch-config support for named queries

Most of the infrastructure here is general, only the validation/dispatch
is hardcoded to a particular prefix.

A notable change in behaviour is that notmuch-config now opens the
database e.g. on every call to list, which fails with an error message
if the database doesn't exit yet.

CLI: optionally restore config data.

The default to restore config data seems safest, especially since
currently we have no config data to mess up.

CLI: add optional config data to dump output.

Note that it changes the default dump output format, but doesn't break
existing notmuch-restore. It might break user scripts though.

lib: config list iterators

Since xapian provides the ability to restrict the iterator to a given
prefix, we expose this ability to the user. Otherwise we mimic the other
iterator interfances in notmuch (e.g. tags.c).

lib: provide config API

This is a thin wrapper around the Xapian metadata API. The job of this
layer is to keep the config key value pairs from colliding with other
metadata by transparently prefixing the keys, along with the usual glue
to provide a C interface.

The split of _get_config into two functions is to allow returning of the
return value with different memory ownership semantics.

ruby: add bindings for `notmuch_database_get_all_tags`

The Ruby bindings were missing a way to get all the tags of the
database. Now you should be able to access this with the public
instance method `all_tags` of your database object.

Example of use:
    notmuchdb = Notmuch::Database.new path, { :create => false,
     :mode => Notmuch::MODE_READ_ONLY }

    my_tags = notmuchdb.all_tags

    my_tags.each { |tag|
      print tag
    }

    my_tags.destroy!

Amended by db: improve error reporting, add test

test: copyright information updates

Files in test directories had only copyright of a single individual,
of which code was adapted here as a base of the test system.
Since then many Notmuch Developers have contributed to the test
system, which is now acknowledged with a constant string in some
of the test files.

The README file in test directory instructed new files contain a
copyright notice, but that has never been done (and it is also not
needed). To simplify things a bit (and lessen confusion) this
instruction is now removed.

As a side enchangement, all of the 3 entries in the whole source
tree cd'ing to `dirname` of "$0" now uses syntax cd "$(dirname "$0")".
This makes these particular lines work when current working directory
is e.g. /c/Program Files/notmuch/test/.
(Probably it would fail elsewhere, though.)

emacs: bind notmuch-show-resend-message to 'b' in notmuch-show mode

This binding is similar to mutt's, which is

bind {mode} b   "bounce-message"    # remail a message to another user

where {mode} is 'index', 'pager' or 'attach'.

emacs: add function to resend message to new recipients

The new function notmuch-show-message-resend re-sends
message to new recipients using #'message-resend.

Recipients are read from minibuffer as a comma-separated
string (with some keyboard support including tab completion).

Final confirmation before sending is asked.

cli: tell how many messages were precisely matched when expected 1 match

In case of notmuch reply and notmuch show --part=N it is required that
search terms match to one message. If match count was != 1, error
message "Error: search term did not match precisely one message"
was too vague to explain what happened.

By appending (matched <num> messages) to the error message it
makes the problem more understandable (e.g when <num> is '0'
user reckons the query had a typo in it).

configure: combine common parts of CONFIGURE_C{,XX}FLAGS

By combining the common parts of CONFIGURE_CFLAGS and CONFIGURE_CXXFLAGS
to a separate make variable and using that as part of their
definitions makes setting of these easier, DRYer and less error prone
(especially as we cannot check potential typing errors there).

configure: check directly for xapian compaction API

This is consistent with the check for FieldProcessor, and probably a bit
more robust.

lib/cli: add library API / CLI for compile time options

This is intentionally low tech; if we have more than two options it may
make sense to build up what infrastructure is provided.

lib: optionally support single argument date: queries

This relies on the FieldProcessor API, which is only present in xapian
>= 1.3.

configure: detect Xapian:FieldProcessor

Rather than check versions, it seems more robust to do a test compile.

configure: add set -u

In case of any unset variable, make ./configure exit with nonzero value;
an attempt to expand an unset variable is a bug in the script
(usually a spelling mistake) and those should not pass through
unnoticed.

configure: replace ${CXXLAGS} with ${CXXFLAGS_for_sh}

Variable CXXLAGS expands to nothing, CXXFLAGS something unusable
here; CXXFLAGS_for_sh expands to what we expect here.

cli: remove leftover dir variable

No functional changes.

configure: SC2016: Expressions don't expand in single quotes

Fix shellcheck warnings. Use double quotes but escape $ to make it
look more intentional.

configure: SC2034: glib_cflags and glib_ldflags appear unused.

Fix shellcheck warnings.

configure: SC2059: Don't use variables in the printf format string.

Fix shellcheck warnings. Use printf "..%s.." "$foo".

configure: SC2006: Use $(..) instead of legacy `..`

Fix shellcheck warnings.

Merge emacs bug fixes from release

emacs: Tell `message-mode' that outgoing messages are email.

When composing messages (including replies, etc.), indicate to
`message-mode' definitively that the message is email (as opposed to
Usenet news) rather than having it attempt to determine this for itself.

This causes `message-mode' to observe such variables as
`message-default-mail-headers', which previously happened haphazardly.

emacs: Observe the charset of MIME parts when reading them.

`notmuch--get-bodypart-raw' previously assumed that all non-binary MIME
parts could be successfully read by assuming that they were UTF-8
encoded. This was demonstrated to be wrong, specifically when a part was
marked as ISO8859-1 and included accented characters (which were
incorrectly rendered as a result).

Rather than assuming UTF-8, attempt to use the part's declared charset
when reading it, falling back to US-ASCII if the declared charset is
unknown, unsupported or invalid.

notmuch-mutt: use env to locate perl for increased portability

Note: this patch drops -w from the shebang line, but we still have
"use warnings" in the script, which is superior anyhow.

Thanks Andreas Tolfsen for the suggestion.

debian: add versioned depends on dpkg-dev

This is needed to support build profiles (e.g. nocheck)

debian: add changelog stanza for 0.22

bump version and NEWS date for 0.22 release

NEWS: mention try-emacs-mua

A non-technical introduction for users who read NEWS to have better
chance to find ./devel/notmuch-emacs-mua when they test or experiment
with notmuch emacs MUA next time.

debian: changelog stanza for 0.22~rc1-1

version: bump to 0.22~rc1

NEWS: entry for emacs mua address completion

NEWS: document some bug fixes

NEWS: document S/MIME support

NEWS: note no-op-ness of notmuch-message-address-insinuate

NEWS: note dropping "pkg-config emacs"

NEWS: add note about xapian 1.3 support

doc: change copyright date

Yes, it is 2016

Emacs related NEWS for 0.22.

emacs: Don't indent multipart sub-parts during reply.

When generating cited messages for replay, override any existing
setting for `notmuch-show-indent-multipart' to ensure that no
indentation occurs.

debian: minimal changelog for 0.22~rc0-1

version: bump to 0.22~rc0

bindings: drop build time message on missing ruby dependency

The usual make message on everything being up to date is:

make: Nothing to be done for 'all'.

However, since

commit d038b9320949c79503fe4b76870aaabf279405ab
Author: David Bremner <david@tethera.net>
Date:   Mon Jun 1 09:08:59 2015 +0200

    build: integrate building ruby bindings into notmuch build process

if one doesn't have the ruby dependencies installed, the message has
been:

Missing dependency, skipping ruby bindings

Restore the usual behaviour by dropping the message. It's redundant
during build anyway, since the configure script already outputs:

Checking for ruby development files... No (skipping ruby bindings)

emacs: Add notmuch homepage to package header

So user can find out notmuch's homepage with:

  C-h P ('describe-package') notmuch

emacs: Fix packaging

Refer to (info "(elisp) Library Headers") for package conventions.

complete ghost-on-removal-when-shared-thread-exists

To fully complete the ghost-on-removal-when-shared-thread-exists
proposal, we need to clear all ghost messages when the last active
message is removed from a thread.

Amended by db: Remove the last test of T530, as it no longer makes sense
if we are garbage collecting ghost messages.

On deletion, replace with ghost when other active messages in thread

There is no need to add a ghost message upon deletion if there are no
other active messages in the thread.

Also, if the message being deleted was a ghost already, we can just go
ahead and delete it.

Introduce _notmuch_message_has_term()

It can be useful to easily tell if a given message has a given term
associated with it.

Add internal functions to search for alternate doc types

Publicly we are only exposing the non-ghost documents (of "type"
"mail").  But internally we might want to inspect the ghost messages
as well.

This changeset adds two new private interfaces to queries to recover
information about alternate document types.