lib: handle DatabaseModifiedError in _n_message_ensure_metadata

The retries are hardcoded to a small number, and error handling aborts
than propagating errors from notmuch_database_reopen. These are both
somewhat justified by the assumption that most things that can go
wrong in Xapian::Database::reopen are rare and fatal. Here's the brief
discussion with Xapian upstream:

   24-02-2017 08:12:57 < bremner> any intuition about how likely
      Xapian::Database::reopen is to fail? I'm catching a
      DatabaseModifiedError somewhere where handling any further errors is
      tricky, and wondering about treating a failed reopen as as "the
      impossible happened, stopping"

   24-02-2017 16:22:34 < olly> bremner: there should not be much scope for
    failure - stuff like out of memory or disk errors, which are probably a
    good enough excuse to stop

lib: add _notmuch_database_reopen

The main expected use is to recover from a Xapian::DatabaseChanged
exception.

test: add known broken test for uncaught DatabaseModifiedError

There are several of these to track down, but one that is in quite a
few code paths is _notmuch_message_ensure_metadata.

Merge branch 'release'

Merge in g_hash_table read-after-free fix

version: bump to 0.23.6

python and debian bumped at the same time

test: replaced use of python with $NOTMUCH_PYTHON (twice)

$NOTMUCH_PYTHON is sourced from sh.config, configured by
./configure and stated to be used as:

"Name of python command to use in configure and the test suite."

emacs: company: remove two build warnings

This adds two defvars to avoid two build warnings in the notmuch emacs
code. These were both introduced (by me) in commit 827c28a0.

emacs: fully add the notmuch-address customize group

We now have several customizable options for address completion. There
is a customize group notmuch-address but it only contains one of these
options. Add all the others, and make it part of the notmuch customize
group.

lib: make _notmuch_message_ensure_property_map static

It's not called outside message.cc

lib: make _notmuch_message_ensure_metadata static

It's not called anywhere outside message.cc.

lib: fix g_hash_table related read-after-free bug

The two g_hash_table functions (insert, add) have different behaviour
with respect to existing keys. g_hash_table_insert frees the new key,
while g_hash_table_add (which is really g_hash_table_replace in
disguise) frees the existing key. With this change 'ref' is live until
the end of the function (assuming single-threaded access to
'hash'). We can't guarantee it will continue to be live in the
future (i.e. there may be a future key duplication) so we copy it with
the allocation context passed to parse_references (in practice this is
the notmuch_message_t object whose parents we are finding).

Thanks to Tomi for the simpler approach to the problem based on
reading the fine glib manual.

Merge branch 'release'

Merge changes to use gpgconf --create-socketdir

debian: start changelog for 0.23.6

NEWS: news for gpgconf use in test suite

test: use gpgconf --create-socketdir if available

This enables the shortened socket pathes in /run or equivalent. The
explicit call to gpgconf is needed for nonstandard GNUPGHOME settings.

(amended according to id:m2fujatr4k.fsf@guru.guru-group.fi)

configure: add test for gpgconf --create-socketdir

This is primarily intended for use in the test suite (since notmuch
builds fine without gnupg installed). Thus we only write the variable
to sh.config.

lib: Let Xapian manage the memory for FieldProcessors

It turns out this is exactly what release() is for; Xapian will
deallocate the objects when it's done with them.

lib: merge internal prefix tables

Replace multiple tables with some flags in a single table. This makes
the code in notmuch_database_open_verbose a bit shorter, and it should
also make it easier to add other options to fields, e.g. regexp
searching.

emacs: address: save hash

This allows the user to save the address hash so that it is much
faster for the first completion after a restart. This defaults to off
as there are privacy implications to saving this information.

The code tries hard to avoid overwriting the wrong file. It also notes
if changes have been made to any of the relevant user settings, so
that the user does not get surprising results (i.e., outdated options
being used). Finally it stores some version information so that is
easy for us to update the format of the save file.

emacs: address: move address-full-harvest-finished to a function

This makes the code access notmuch-address-full-harvest-finished via a
helper function, notmuch-address--harvest-ready. Later we will use
this to check whether we can load the harvest instead of regenerating
it.

cli: don't call _entry_in_ignore_list twice in count files debug

Split file ignores in count_files to fixed and user configured in
order to not have to call _entry_in_ignore_list twice when debugging
is enabled. Minor detail.

test: wrap 'wc -l' results in arithmetic evaluation to strip whitespace

Some new unwrapped 'wc -l's have been added since Jani's 60e79e3a9f1c8

lib: optimize counting documents

From #xapian

olly> bremner: btw, i noticed notmuch count see ms to request all the documents and then ignores them

bremner> hmm. There's something funny about the way that notmuch uses matches in general iirc

olly> it should be able to do: mset = enquire.get_mset (0, 0, notmuch->xapian_db->get_doccount ());
...
olly> get_matches_estimated() will be exact because check_at_least is the size of the database

docs: fix notmuch_message_properties_value documentation

It returns the value, not the key.

Merge tag '0.23.5'

notmuch 0.23.5 release

configure: remove leftover byte order test cleanup

Removing the removal of byteorder configure test files was overlooked
in commit 5a957c3f33e6 ("build & util: drop byte order configure check
and endian util header"). Finish the job.

NEWS,debian: set date for release

build & util: drop byte order configure check and endian util header

With the removal of the embedded libsha1, we lost the first and last
user of the platform byte order checks. Remove them from configure,
and remove the endian util header.

lib: use glib for sha1 digests instead of embedding libsha1

We already depend on glib both directly and indirectly (via gmime). We
might as well make use of its facilities. Drop the embedded libsha1
and use glib for sha1 digests.

test: allow user to choose which gdb to run tests with

The variable used for selecting gdb is TEST_GDB, consistent with
TEST_CC and TEST_EMACS{,CLIENT}.

Merge branch 'release'

These are the (tentative) changes for 0.23.5

docs: add 2017 to copyright years

bump version to 0.23.5

debian: changelog for 0.23.5-1

NEWS for 0.23.5

lib: fix the todo comment placement on NOTMUCH_STATUS_XAPIAN_EXCEPTION

The todo comment got separated from the status it's related to at
commit 3f32fd8a1c06 ("Add missing comment for
NOTMUCH_STATUS_READONLY_DATABASE."). Later, commit b65ca8e0ba5e ("lib:
modify notmuch.h for automatic document generation") moved it, but to
the wrong place. Fix the location.

cli/config: rename name to key in _config_set_list

The other getters and setters speak of key, follow suit. No functional
changes.

cli/config: allocate config using talloc_zero

Do not initialize each field separately. It's more robust to allocate
the config with zero initialization, and only set the non-zero
defaults individually.

configure: fix $prefix expansion for libdir_expanded

Since the sed expansion line which did $prefix expansion for
libdir_expanded was changed from the legacy `...` format to the
new $(...) expression, the subtle backslash expansion change went
unnoticed -- \\$ which used to escape '$' now escapes '\' and the
following '$prefix' was attempted to expand as a variable. So
changing \\$ to \$ fixes this.

Also, replaced echo with printf %s -- echo does expansions of its own.

While at it, the following 2 inconsistencies were fixed:
 1) the /g flag was removed from first expression; second didn't have it
 2) first expression did not end with /, so "dropped" it from second

 configure | 2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

Merge branch 'release'

merge 0.23.4 release

version: update to 0.23.4

set date in NEWS and debian/changelog

pentultimate prepartions for release

debian: remove setting of emacslispdir

With dh-elpa, this setting is no longer used

debian: changelog stanza for 0.23.4-1

notmuch-config: replace config reading function

Config files are currently read using glib's g_key_file_load_from_file
function which is very inconvenient because it's limited by design to read
only from "regular data files" in a filesystem. Because of this limitation
notmuch can't read configs from pipes, fifos, sockets, stdin, etc. Not even
"notmuch --config=/dev/stdin" works:

Error reading configuration file /dev/stdin: Not a regular file

So replace g_key_file_load_from_file with g_key_file_load_from_data which
gives us much more freedom to read configs from multiple sources.

This also helps the more security sensitive users: If someone has private
information in the config file, it can be encrypted on disk, then decrypted
in RAM and passed through a pipe directly to notmuch without the use of
intermediate plain text files.

Signed-off-by: Ioan-Adrian Ratiu <adi@adirat.com>

cli: abstract config file reading to a separate function

Simplify and fix the coding style while at it.

Merge branch 'release'

Add back in no-display parameter by hand.

NEWS: announce autoload fix

emacs: restore autoload cookie for notmuch-search

The cookie only applies to next form, so in the previous location it
applied to the put, rather than the function.

NEWS: news for notmuch-insert error handling

cli/insert: document the use of EX_TEMPFAIL

Merge branch 'release'

Merge changes for notmuch-insert error handling, debian bugfix release

cli/insert: return EX_TEMPFAIL for some errors

Attempt to distinguish between errors indicating misconfiguration or
programmer error, which we consider "permanent", in the sense that
automatic retries are unlikely to be useful, and those indicating
transient error conditions. We consider XAPIAN_EXCEPTION transient
because it covers the important special case of locking failure.

cli/insert: delay database open until after writing mail file

The idea is to get the mail written to disk, even if we can't open the
database (e.g. because some other process has a write lock, and notmuch
is compiled for non-blocking opens).

test: gdb insert: redirect input inside gdb script

Running `gdb command < input` is not as reliable way to give input
to the command (some installations of gdb consume it). Use "set args"
gdb command to have input redirected at gdb 'run' time.

debian: changelog stanza for 0.23.3-3

debian: disable gdb using tests on kfreebsd-*

gdb seems broken there.

test: check the handling of files vanishing between scandir and indexing

Add a file for scandir to find, but use gdb to remove it before it
gets indexed.

test: clean up corpora.email

When we renamed corpus to corpora, we missed a spot.

Merge branch 'release'

debian: fix transition package for notmuch-emacs

The current version is more a transition to nowhere.

build: update the desktop database after installing the desktop file

This makes the option to choose Notmuch as mailto: handler show up in
the desktop environment settings. Ignore errors.

build: install notmuch-emacs-mua.desktop file with emacs

There is really no need to have a separate install target for the
desktop file. Just install the desktop file with emacs, with a
configure option to opt out.

doc: whitespace cleanup

In most part, our .rst documents are indented with 8 spaces instead
of tabs. Bring the rest of the lines to the same format.
Also, on one (supposedly empty) line, trailing spaces were removed.

Merge tag '0.23.3'

notmuch 0.23.3 release

NEWS: fix date and title

Merge branch 'release'

Add Jani's fix for notmuch-new

NEWS: note disappearing files fix for notmuch new

NEWS: set date

debian: finalize? changelog for 0.23.3-1

notmuch.desktop: move under emacs as notmuch-emacs-mua.desktop

The notmuch.desktop file is part of notmuch-emacs. Move it under
emacs, and rename as notmuch-emacs-mua.desktop to reflect this.

build: install notmuch-emacs-mua with notmuch-emacs

notmuch-emacs-mua is good enough to be installed with notmuch-emacs.

notmuch-emacs-mua: add --hello parameter

If the --hello parameter is given, display the notmuch hello buffer
instead of the message composition buffer if no message composition
parameters are given.

Signed-off-by: Jani Nikula <jani@nikula.org>

emacs: move notmuch-emacs-mua under emacs

While the notmuch-emacs-mua script is a sort of cli command, it is
really a part of notmuch-emacs. Move it under the emacs directory.

man: advertize notmuch-emacs-mua as notmuch emacs-mua subcommand

With subcommand handling for external commands we can now hide the
implementation detail of emacs-mua being a separate notmuch-emacs-mua
script.

build/emacs: add target to create elpa package

This package can be created without emacs, but will only be usable in
versions of emacs supporting package.el

build: Move variable definitions to Makefile.global

I noticed when trying to use VERSION (and derived variables) in a
subdirectory that the top level Makefile.local needed to be included
first. But according to c10085c77b407d9ea704f8b4f9e0a805f63e72cb it
actually needs to be last. To break this conflict, move the variables
definitions into a new Makefile.global.

cli/new: document new exit code

It seems important to give the numeric return code for people writing
scripts. Hopefully deviations from this convention are rare.

cli: consider files vanishing during notmuch new non-fatal

If some software other than notmuch new renames or removes files
during the notmuch new scan (specifically after scandir but before
indexing the file), keep going instead of bailing out. Failing to
index the file is just a race condition between notmuch and the other
software; the rename could happen after the notmuch new scan
anyway. It's not fatal, and we'll catch the renamed files on the next
scan.

Add a new exit code for when files vanished, so the caller has a
chance to detect the race and re-run notmuch new to recover.

Reported by Paul Wise <pabs@debian.org> at
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=843127

Merge branch 'release'

Initial set of changes for 0.23.3

debian: start changelog stanza for 0.23.3-1

version: bump to 0.23.3

NEWS: note gnupg related test-suite fix

debian: disable dh_elpa_test

Currently it seems to interfere with running the notmuch test suite.
In any case we have no ert / buttercup format tests to run.

tests: account for varying-size cryptographic signatures

GnuPG 2.1.16 is now injecting the full issuer fingerprint in its
signatures, which makes them about 32 octets larger when
ascii-armored.

This change in size means that the size of the MIME parts will vary
depending on the version of gpg that the user has installed.  at any
rate, the signature part should be non-zero (this is true for
basically any MIME part), so we just test for that instead of an exact
size.

Merge tag '0.23.2'

notmuch 0.23.2 release

NEWS: set date for release

NEWS for notmuch-cycle-notmuch-buffers

NEWS: document fixes for emacs23

build: only install known man pages

Install man pages based on $(MAN_GZIP_FILES), which directly
corresponds to the man page source rst files. This way we can filter
the man pages to be installed as needed.

build: generate man page list from source files, not conf.py

Use $(wildcard ...) to generate the list of man pages based on the rst
source files present in the man page directories, instead of reading
conf.py. This has three main benefits:

1) This makes the man page build slightly less complicated and easier
   to understand. At least there are fewer moving parts.

2) This makes the build fail if we add a man page rst file, but fail
   to add it to conf.py.

3) We can use Sphinx constructs in conf.py that are not available when
   importing the file into a normal python program such as
   mkdocdeps.py.

build: do not touch roff files after sphinx-build

If Sphinx fails to create any of the roff files, having touch create
them hides the errors until someone realizes, possibly much later,
that the resulting files are empty. (Note that gzip doesn't fail on
empty input files.) Sphinx will change the timestamps of any files it
has written anyway.

doc: fix references in notmuch-emacs.rst

Fix make sphinx-texinfo warnings:

WARNING: undefined label: notmuch-jump (if the link has no caption the
label must precede a section header)

WARNING: undefined label: notmuch-saved-searches (if the link has no
caption the label must precede a section header)

doc/conf.py: include command name in texinfo document title

Seems to make more sense than to have the same title for everything.

doc/conf.py: reindent, whitespace clean man page, texinfo lists

No functional changes.

doc/conf.py: abstract notmuch authors

Don't repeat the same stuff so much. We probably don't want to track
individual authors for man/texinfo pages anyway.

No user visible changes.

doc/conf.py: generate texinfo_documents list from man_pages list

No need to repeat mostly the same information twice in conf.py. We
probably want to have a corresponding texinfo document for all the man
pages. Python list comprehension to the rescue. (The reverse is not
true; we have a texinfo document for notmuch-emacs we don't want as a
man page.)

There should be no user visible changes.

doc/conf.py: add notmuch-emacs-mua to texinfo documents

This was overlooked when adding the man page.

Merge branch 'release'

Updates for 0.23.2

debian: changelog stanza for 0.23.2-1