lib/message.cc: fix Coverity finding (use after free)

The object where pointer to `data` was received was deleted before
it was used in _notmuch_string_list_append().

Relevant Coverity messages follow:

3: extract
Assigning: data = std::__cxx11::string(message->doc.()).c_str(),
which extracts wrapped state from temporary of type std::__cxx11::string.

4: dtor_free
The internal representation of temporary of type std::__cxx11::string
is freed by its destructor.

5: use after free:
Wrapper object use after free (WRAPPER_ESCAPE)
Using internal representation of destroyed object local data.

(cherry picked from commit 06adc276682d1d5f73d78df2e898ad4191eb4499)

update version to 0.23.7

NEWS: add news for 0.23.7

add changelog stanza for 0.23.7-1

test: move GNUPGHOME to TEST_TMPDIR

We already use this directory for dtach sockets, so it makes sense to
put gnupg sockets there as well. There doesn't seem to be a clean way
to put a fully functional socket in a different location than
GNUPGHOME.

Revert "configure: add test for gpgconf --create-socketdir"

This reverts commit 12f7d4e61d30fb9a5c99e128ab1aab0bf069cdb4.

Since we're not using gpgconf anymore, drop the unneeded test in
configure.

Revert "test: use gpgconf --create-socketdir if available"

This reverts commit e7b88e8b0a93ca83d807edc00e0c97af54c5b5f1.

It turns out that this does not work well in environments without a
running systemd (or some other provider of /run/user)

debian: set upload date and suite

NEWS: set release date

debian: note read-after-free fix in d/changelog

NEWS: document read-after-free bugfix

version: bump to 0.23.6

python and debian bumped at the same time

lib: fix g_hash_table related read-after-free bug

The two g_hash_table functions (insert, add) have different behaviour
with respect to existing keys. g_hash_table_insert frees the new key,
while g_hash_table_add (which is really g_hash_table_replace in
disguise) frees the existing key. With this change 'ref' is live until
the end of the function (assuming single-threaded access to
'hash'). We can't guarantee it will continue to be live in the
future (i.e. there may be a future key duplication) so we copy it with
the allocation context passed to parse_references (in practice this is
the notmuch_message_t object whose parents we are finding).

Thanks to Tomi for the simpler approach to the problem based on
reading the fine glib manual.

debian: start changelog for 0.23.6

NEWS: news for gpgconf use in test suite

test: use gpgconf --create-socketdir if available

This enables the shortened socket pathes in /run or equivalent. The
explicit call to gpgconf is needed for nonstandard GNUPGHOME settings.

(amended according to id:m2fujatr4k.fsf@guru.guru-group.fi)

configure: add test for gpgconf --create-socketdir

This is primarily intended for use in the test suite (since notmuch
builds fine without gnupg installed). Thus we only write the variable
to sh.config.

NEWS,debian: set date for release

docs: add 2017 to copyright years

bump version to 0.23.5

debian: changelog for 0.23.5-1

NEWS for 0.23.5

configure: fix $prefix expansion for libdir_expanded

Since the sed expansion line which did $prefix expansion for
libdir_expanded was changed from the legacy `...` format to the
new $(...) expression, the subtle backslash expansion change went
unnoticed -- \\$ which used to escape '$' now escapes '\' and the
following '$prefix' was attempted to expand as a variable. So
changing \\$ to \$ fixes this.

Also, replaced echo with printf %s -- echo does expansions of its own.

While at it, the following 2 inconsistencies were fixed:
 1) the /g flag was removed from first expression; second didn't have it
 2) first expression did not end with /, so "dropped" it from second

 configure | 2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

version: update to 0.23.4

set date in NEWS and debian/changelog

pentultimate prepartions for release

debian: remove setting of emacslispdir

With dh-elpa, this setting is no longer used

debian: changelog stanza for 0.23.4-1

NEWS: announce autoload fix

emacs: restore autoload cookie for notmuch-search

The cookie only applies to next form, so in the previous location it
applied to the put, rather than the function.

NEWS: news for notmuch-insert error handling

cli/insert: document the use of EX_TEMPFAIL

cli/insert: return EX_TEMPFAIL for some errors

Attempt to distinguish between errors indicating misconfiguration or
programmer error, which we consider "permanent", in the sense that
automatic retries are unlikely to be useful, and those indicating
transient error conditions. We consider XAPIAN_EXCEPTION transient
because it covers the important special case of locking failure.

cli/insert: delay database open until after writing mail file

The idea is to get the mail written to disk, even if we can't open the
database (e.g. because some other process has a write lock, and notmuch
is compiled for non-blocking opens).

test: gdb insert: redirect input inside gdb script

Running `gdb command < input` is not as reliable way to give input
to the command (some installations of gdb consume it). Use "set args"
gdb command to have input redirected at gdb 'run' time.

debian: changelog stanza for 0.23.3-3

debian: disable gdb using tests on kfreebsd-*

gdb seems broken there.

debian: fix transition package for notmuch-emacs

The current version is more a transition to nowhere.

NEWS: fix date and title

NEWS: note disappearing files fix for notmuch new

NEWS: set date

debian: finalize? changelog for 0.23.3-1

cli/new: document new exit code

It seems important to give the numeric return code for people writing
scripts. Hopefully deviations from this convention are rare.

cli: consider files vanishing during notmuch new non-fatal

If some software other than notmuch new renames or removes files
during the notmuch new scan (specifically after scandir but before
indexing the file), keep going instead of bailing out. Failing to
index the file is just a race condition between notmuch and the other
software; the rename could happen after the notmuch new scan
anyway. It's not fatal, and we'll catch the renamed files on the next
scan.

Add a new exit code for when files vanished, so the caller has a
chance to detect the race and re-run notmuch new to recover.

Reported by Paul Wise <pabs@debian.org> at
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=843127

debian: start changelog stanza for 0.23.3-1

version: bump to 0.23.3

NEWS: note gnupg related test-suite fix

debian: disable dh_elpa_test

Currently it seems to interfere with running the notmuch test suite.
In any case we have no ert / buttercup format tests to run.

tests: account for varying-size cryptographic signatures

GnuPG 2.1.16 is now injecting the full issuer fingerprint in its
signatures, which makes them about 32 octets larger when
ascii-armored.

This change in size means that the size of the MIME parts will vary
depending on the version of gpg that the user has installed.  at any
rate, the signature part should be non-zero (this is true for
basically any MIME part), so we just test for that instead of an exact
size.

NEWS: set date for release

NEWS for notmuch-cycle-notmuch-buffers

NEWS: document fixes for emacs23

debian: changelog stanza for 0.23.2-1

version: bump to 0.23.2

debian: convert to use dh-elpa

This packaging helper eliminates most of the boilerplate from packaging
emacs extensions for debian. It requires package.el compatible metadata.

emacs: generate notmuch-pkg.el

This file contains metadata for the built in (as of emacs 24) packaging
system.

emacs: add compatibility functions for emacs 23

Some of the recent changes to the emacs code have used functions
introduced in emacs 24. The functions used are read-char-choice and
setq-local. This changeset adds a file notmuch-compat.el which
contains compatibility functions so that it should work on emacs
23.

Note, since these functions are taken almost unchanged from the emacs
source they are copyright the Free Software Foundation, and the header
in the file reflects that.

emacs: interesting-buffer bugfixes/updates

The command notmuch-interesting-buffer has got out of date -- it
doesn't mention notmuch-tree, and it still refers to message-mode not
notmuch-message-mode. Update both of these.

This fixes the bug that notmuch-cycle-notmuch-buffers does not include
notmuch-tree or notmuch-message-mode buffers in its cycling.

finalize release 0.23.1

debian: start changelog stanza for 0.23.1

version: bump to 0.23.1

NEWS for two bugfixes

This adds news items for the two bugs

    emacs: search face bugfix
and
    emacs: fix notmuch-search-line-faces defcustom

Expand docstrings about fcc using notmuch-insert

This commit expands docstrings for notmuch-fcc-dirs and
notmuch-maildir-fcc-with-notmuch-insert to describe how quoted strings
are processed and make the ability to configure sent folders containing
whitespace more discoverable.

test: use vt100 as "smart" terminal for known dumb/unknown terminals

Otherwise use whatever user environment has set for TERM so
that there is more chance to test on users' actual environments.

test-lib.sh: rename $DTACH_TERM to $SMART_TERM

NEWS for 0.23.1

emacs: search face bugfix

In commit 2a7b11b064233afc4feead876fa396e3c18a6b91 the default faces
for unread and flagged were accidentally swapped. This swaps them back.

emacs: fix notmuch-search-line-faces defcustom

In commit 2a7b11b064233afc4feead876fa396e3c18a6b91 the default value
for notmuch-search-line-faces was changed so that it didn't match the
specification in the corresponding defcustom. This meant that it was
difficult for the user to customize this variable as they got a type
mismatch error.

Note anyone who had already customised this variable would not see
this bug as their customisation would match the defcustom.

emacs/show: force notmuch-show-buttonise-links to act on lines

This seems to fix a problem with emacs 25 creating partial buttons by
calling n-s-b-l with a region that does not include the whole button.
I'm not 100% sure it's legit to act outside the region passed by
jit-lock, but goto-address-fontify-region (where I borrowed the code
from) already does this, so this patch to not make things worse.

lib: document API added in 0.23

The API was already documented, but for future readers note when the
functions were added,

require xapian >= 1.2.6

It seems that no-one tried to compile without Xapian compact support
since March of 2015, since that's when I introduced a syntax error in
that branch of the ifdef.

Given the choice of maintaining this underused branch of code, or
bumping the Xapian dependency to a version from 2011, it seems
reasonable to do the latter.

debian: changelog stanza for 0.23-2

debian: changelog stanza for 0.23-1

NEWS: bump date to today

version: bump to 0.23

lib: bump minor version to mark added symbols

This should not change the SONAME, and therefore won't change the
dynamic linking behaviour, but it may help some users debug missing
symbols in case their libnotmuch is too old.

debian: changelog stanza for 0.23~rc1-1

version: update to 0.23~rc1

configure: set platform variables also when `uname` is unrecognized

Since commit

124a67e96ecab5495c0f17b6875d53dfd67ff137: configure: add set -u

all variables must be set before their expansion are attempted. These
2 variables: "platform" and "linker_resolves_library_dependencies" were
not given value in the final 'else' branch when platform check failed
due to unrecognized kernel name (output of `uname`). Now those two are
given reasonable non-empty values.

emacs: fcc: say we are doing Fcc

Since doing the Fcc with notmuch insert could be slow (if the indexing
takes some time) add a message saying we are doing it.

emacs: document notmuch-fcc-dirs

This updates the docstring for the variable notmuch-fcc-dirs to match
the new insert code.

NEWS: add news for fcc insert and address completion changes

lib/database.cc: fix misleading indentation

Found by gcc 6.1.1 -Wmisleading-indentation option (set by -Wall).

NEWS: emacs notmuch-show-resend-message

NEWS: mention message properties API, dump/restore

NEWS: fix headline for go bindings NEWS

NEWS: note notmuch-reply refactor

NEWS: note dropping of User-Agent header

NEWS: document mtime bugfix

emacs: tree: make b bounce a message and backspace scroll message pane up

This tweaks the keybindings in tree-mode. It make b do bounce/resend
matching show-mode. Since b was already bound to scroll message pane
back, we now use backspace for that.

This means space/backspace scroll the message pane forwards/backwards,
and page-up/page-down scrolls the tree pane forwards/backwards.

debian: update symbols for 0.23

New sub-APIs: config, built_with, message_property. A new exception used
internally. Mark the exception as optional, as it only shows up when
built against Xapian supporting FieldProcessors

debian: changelog stanza for 0.23~rc0-1

version: bump to 0.23~rc0

emacs: tag deleted face bugfix

Commit d25d33ff cleaned up some of the tag face code. However, for the
face notmuch-tag-deleted it used the test

((class color) (supports :strike-through))

to decide whether to use red strikethrough or inverse-video (emacs in
a terminal typically doesn't support red strikethrough, but in X it does).

However, it seems that test often returns true even though red
strikethrough is not supported. This breaks the tag update code -- the
wrong thing is displayed to the user.

Thus we make the test explicitly more specific, changing the test to

((class color) (supports :strike-through "red"))

test: test-lib.sh: use $BASH instead of ${SHELL-sh} to relaunch

In case of the test script is to be relaunced under valgrind, or --tee
is requested, use the $BASH shell variable to locate the command
interpreter. The $SHELL variable is re-set by non-interactive shells
so in case the shell uses some other shell (e.g. zsh) for interactive
use these bash scripts continue to work.

lib: add talloc reference from string map iterator to map

This is needed so that when the map is modified during traversal, and
thus unlinked by the database code, the map is not disposed of until the
iterator is done with it.

emacs: tree: make jump close message pane

j is in the global notmuch keymap bound to notmuch jump. In tree-mode
it makes sense to close the message pane first (otherwise the new
search runs in the small top pane of tree-mode).

test/emacs: add broken test for message replying to msg to self

This is a strange corner case where the removing of the user's address
from the To: header does the wrong thing. If we think it is
worth (eventually) fixing, this test can serve as a reminder.

NEWS: fix markup of CONSTANTS_WITH_UNDERSCORES

Alas, I did not notice when when I originally applied the NEWS patch

NEWS: news for Xapian 1.4 enabled features

In fact some of these features are available in Xapian 1.3.x development
releases, but these are not really widely packaged. In any case, the
experts who are using development releases of Xapian can figure that
out.

test: fix printf format

notmuch_status_t is an integer type, printing it as a string is a very
bad idea.