cli/dump: bump dump format version to 3

No changes to the format of the body, but the header format was
fixed, and version 2 headers probably shouldn't be relied on.

cli/dump: fix bug in dump header

Fix copy paste error.

test: add known broken test for dump header

Apparently nobody uses the list of "what was included in the dump"

NEWS: initial NEWS changes for 0.24.1

Also add a missed note to the 0.24 release notes.

lib: handle empty string in regexp field processors

The non-field processor behaviour is is convert the corresponding
queries into a search for the unprefixed terms. This yields pretty
surprising results so I decided to generate a query that would match
the terms (i.e. none with that prefix) generated for an empty header.

test: add known broken test for null from: and subject: query

These queries currently fail with field processors enabled because the
code expects a non-empty string.

debian: start changelog for 0.24.1-1

version: bump to 0.24.1

The release is not yet finalized, but start the busywork needed.

lib: only trigger phrase processing for regexp fields when needed

The argument is that if the string passed to the field processor has
no spaces, then the added quotes won't have any benefit except for
disabling wildcards. But disabling wildcards doesn't seem very useful
in the normal Xapian query parser, since they're stripped before
generating terms anyway. It does mean that the query 'from:"foo*"' will
not be precisely equivalent to 'from:foo' as it is for the non
field-processor version.

test: add known broken tests wildcard search in from and  subject

This was broken by the addition of regexp searching. The detection of
wildcards is not currently done in the recursive call to parse_query,
because of quoting issues.

lib/message.cc: fix Coverity finding (use after free)

The object where pointer to `data` was received was deleted before
it was used in _notmuch_string_list_append().

Relevant Coverity messages follow:

3: extract
Assigning: data = std::__cxx11::string(message->doc.()).c_str(),
which extracts wrapped state from temporary of type std::__cxx11::string.

4: dtor_free
The internal representation of temporary of type std::__cxx11::string
is freed by its destructor.

5: use after free:
Wrapper object use after free (WRAPPER_ESCAPE)
Using internal representation of destroyed object local data.

cli/show: unref crlf filter.

Mimic the handling of the other filter g_objects. This cleans up a
fair sized memory leak.

cli/show: fix usage of g_mime_content_type_to_string

It returns an "allocated string", which needs to be freed.

cli/show: fix some memory leaks in format_part_text

Mimic Jeff Stedfast's changes to format_headers_sprinter, clean up use
of internet_address_list_to_string and
g_mime_message_get_date_as_string.

fix memory leaks in notmuch-show.c:format_headers_sprinter()

Internet_address_list_to_string() and
g_mime_message_get_date_as_string() return allocated string buffers
and not const, so from what I can tell from taking a look at the
sprinter-sexp.c’s sexp_string() function, the code leaks the
recipients_string as well as the date string.

build: replace remaining uses of SHA1_FILE

oops. If only there was some editor facility that allowed replacing
all instances of a string.

debian: changelog stanza for 0.24-1

NEWS: set release date

version: bump to 0.24

debian: changelog stanza for 0.24~rc1-1

version: bump version to 0.24~rc1

lib: Fix RegexpPostingSource

Remove incorrect skipping to first match from init(), and add explicit
skip_to() and check() methods to work around xapian-core bug (the
check() method will also improve speed when filtering by one of
these).

NEWS: notmuch-emacs-mua and desktop integration

NEWS: external subcommand handling

man: document external subcommand handling in notmuch(1)

The documentation for this was overlooked when adding the subcommand
handling. This seems like the proper place for it.

NEWS for emacs

debian: add two new exception symbols.

It seems these need to be exported from the library in order for
exception handling to work.

NEWS: start NEWS for 0.24

debian: start changelog stanza for 0.24~rc0-1

version: bump to 0.24~rc0

test: shrink T590-thread-breakage test decription to one line

The test description is used for log output, I think the intention is
to keep it as a one-liner. Leave the rest of the long description as a
comment.

emacs: compat: backport fix for folding long headers when sending

This backports the fix from emacs master (commit
77bbca8c82f6e553c42abbfafca28f55fc995d00) to notmuch-emacs to wrap
long headers.

This fixes the test introduced in the previous changeset.

Test: emacs: test for folding long headers.

Headers of more than 998 characters should be folded when sending.
However, until recently, emacs did not do this.

This adds a (known broken) test for this when sending messages in
emacs. We will backport the fix to notmuch-emacs in the next
changeset.

lib: query make exclude handling non-destructive

We filter added exclude at add time, rather than modifying the query by
count search. As noted in the comments, there are several ignored
conditions here.

lib: centralize query parsing, store results.

The main goal is to prepare the way for non-destructive (or at least
less destructive) exclude tag handling. It does this by having a
pre-parsed query available for further processing. This also allows us
to provide slightly more precise error messages.

lib: use delete[] to free buffer allocated using new[]

Fix warning caught by clang:

lib/regexp-fields.cc:41:2: warning: 'delete' applied to a pointer that was allocated
      with 'new[]'; did you mean 'delete[]'? [-Wmismatched-new-delete]
        delete buffer;
        ^
              []
lib/regexp-fields.cc:37:17: note: allocated with 'new[]' here
        char *buffer = new char[len];
                       ^

lib: add mid: as a synonym for id:

mid: is the url scheme suggested by URL 2392. We also plan to
introduce more flexible searches for mid: than are possible with
id: (in order not to break assumptions about the special behaviour of
id:, e.g. identifying at most one message).

lib: regexp matching in 'subject' and 'from'

the idea is that you can run

% notmuch search subject:/<your-favourite-regexp>/
% notmuch search from:/<your-favourite-regexp>/

or

% notmuch search subject:"your usual phrase search"
% notmuch search from:"usual phrase search"

This feature is only available with recent Xapian, specifically
support for field processors is needed.

It should work with bindings, since it extends the query parser.

This is easy to extend for other value slots, but currently the only
value slots are date, message_id, from, subject, and last_mod. Date is
already searchable;  message_id is left for a followup commit.

This was originally written by Austin Clements, and ported to Xapian
field processors (from Austin's custom query parser) by yours truly.

lib: create field processors from prefix table

This is a bit more code than hardcoding the two existing field
processors, but it should make it easy to add more.

build: use sha256sum instead of sha1sum to sign releases

emacs/desktop: update to use notmuch-emacs-mua and handle mailto

With the mailto: handling in notmuch-emacs-mua, we can update the
desktop file to advertize we can be set as the default application to
handle email. While at it, add GenericName and Comment to be more
informative.

With --hello, notmuch-emacs-mua will run (notmuch) if mailto: url is
not given.

completion: complete notmuch emacs-mua

With subcommand handling for external commands we can easily complete
'notmuch emacs-mua' using the existing completion system.

Merge branch 'release'

Second gnugpg test suite fix

update version to 0.23.7

NEWS: add news for 0.23.7

add changelog stanza for 0.23.7-1

notmuch-config: ENOENT vs generic handling when file open fails.

When opening configuration file fails, ENOENT (file not found) is
handled specially -- in setup missing file is ok (often expected),
and otherwise user can be informed to run notmuch setup.

In any other case the the reason is unknown, so there is no other
option but to print generic error message to stderr.

cli/config: don't try to open config file for 'notmuch help'

The help command does not really need to try to open the config
file. So don't.

Merge tag '0.23.6'

notmuch 0.23.6 release

cli/show: add content-disposition to structured output message parts

Help the clients decide how to display parts.

Test updates by Mark Walters <markwalters1009@gmail.com>.
One more test fix by db

cli/show: abstract get content disposition

Reduce duplication in follow-up work. As a side effect, handle error
returns from g_mime_content_disposition_get_disposition() without
segfaulting.

test: move GNUPGHOME to TEST_TMPDIR

We already use this directory for dtach sockets, so it makes sense to
put gnupg sockets there as well. There doesn't seem to be a clean way
to put a fully functional socket in a different location than
GNUPGHOME.

Revert "configure: add test for gpgconf --create-socketdir"

This reverts commit 12f7d4e61d30fb9a5c99e128ab1aab0bf069cdb4.

Since we're not using gpgconf anymore, drop the unneeded test in
configure.

Revert "test: use gpgconf --create-socketdir if available"

This reverts commit e7b88e8b0a93ca83d807edc00e0c97af54c5b5f1.

It turns out that this does not work well in environments without a
running systemd (or some other provider of /run/user)

debian: set upload date and suite

NEWS: set release date

test: make T640 compatible with old C compilers

Apparently our test system does not use the same flags for compiling
tests as it does for compiling notmuch. Make the test compatible with
C89. Also remove one unused loop index.

completion: add bash completion for query: and property:

Add prefix completion for query and property, with value completion
for query. Apparently there's no way to get at the available
properties in the cli.

emacs: show: stop display of application/* parts

Gnus seems to display application/zip and application/tar by
default. This doesn't seem desirable so we override it.

We only override if the user has not customized
mm-inline-override-types themselves.

test: test format version difference between v2 and v3

Schemata v3 changed message filename field to a list. Test both
versions 2 and 3.

cli/show: list all filenames of a message in the formatted output

Instead of just having the first filename for the message, list all
duplicate filenames of the message as a list in the formatted
outputs. This bumps the format version to 3.

emacs: use (system-name) instead of system-name

Fix the deprecation warning:

In notmuch-maildir-fcc-make-uniq-maildir-id:
emacs/notmuch-maildir-fcc.el:279:53:Warning: ‘system-name’ is an obsolete
    variable (as of 25.1); use (system-name) instead

I've used (system-name) since at least 2011, so it must have been
around quite a while.

lib/message.cc: use view number to invalidate cached metadata

Currently the view number is incremented by notmuch_database_reopen

lib: handle DatabaseModifiedError in _n_message_ensure_metadata

The retries are hardcoded to a small number, and error handling aborts
than propagating errors from notmuch_database_reopen. These are both
somewhat justified by the assumption that most things that can go
wrong in Xapian::Database::reopen are rare and fatal. Here's the brief
discussion with Xapian upstream:

   24-02-2017 08:12:57 < bremner> any intuition about how likely
      Xapian::Database::reopen is to fail? I'm catching a
      DatabaseModifiedError somewhere where handling any further errors is
      tricky, and wondering about treating a failed reopen as as "the
      impossible happened, stopping"

   24-02-2017 16:22:34 < olly> bremner: there should not be much scope for
    failure - stuff like out of memory or disk errors, which are probably a
    good enough excuse to stop

lib: add _notmuch_database_reopen

The main expected use is to recover from a Xapian::DatabaseChanged
exception.

test: add known broken test for uncaught DatabaseModifiedError

There are several of these to track down, but one that is in quite a
few code paths is _notmuch_message_ensure_metadata.

debian: note read-after-free fix in d/changelog

NEWS: document read-after-free bugfix

Merge branch 'release'

Merge in g_hash_table read-after-free fix

version: bump to 0.23.6

python and debian bumped at the same time

test: replaced use of python with $NOTMUCH_PYTHON (twice)

$NOTMUCH_PYTHON is sourced from sh.config, configured by
./configure and stated to be used as:

"Name of python command to use in configure and the test suite."

emacs: company: remove two build warnings

This adds two defvars to avoid two build warnings in the notmuch emacs
code. These were both introduced (by me) in commit 827c28a0.

emacs: fully add the notmuch-address customize group

We now have several customizable options for address completion. There
is a customize group notmuch-address but it only contains one of these
options. Add all the others, and make it part of the notmuch customize
group.

lib: make _notmuch_message_ensure_property_map static

It's not called outside message.cc

lib: make _notmuch_message_ensure_metadata static

It's not called anywhere outside message.cc.

lib: fix g_hash_table related read-after-free bug

The two g_hash_table functions (insert, add) have different behaviour
with respect to existing keys. g_hash_table_insert frees the new key,
while g_hash_table_add (which is really g_hash_table_replace in
disguise) frees the existing key. With this change 'ref' is live until
the end of the function (assuming single-threaded access to
'hash'). We can't guarantee it will continue to be live in the
future (i.e. there may be a future key duplication) so we copy it with
the allocation context passed to parse_references (in practice this is
the notmuch_message_t object whose parents we are finding).

Thanks to Tomi for the simpler approach to the problem based on
reading the fine glib manual.

Merge branch 'release'

Merge changes to use gpgconf --create-socketdir

debian: start changelog for 0.23.6

NEWS: news for gpgconf use in test suite

test: use gpgconf --create-socketdir if available

This enables the shortened socket pathes in /run or equivalent. The
explicit call to gpgconf is needed for nonstandard GNUPGHOME settings.

(amended according to id:m2fujatr4k.fsf@guru.guru-group.fi)

configure: add test for gpgconf --create-socketdir

This is primarily intended for use in the test suite (since notmuch
builds fine without gnupg installed). Thus we only write the variable
to sh.config.

lib: Let Xapian manage the memory for FieldProcessors

It turns out this is exactly what release() is for; Xapian will
deallocate the objects when it's done with them.

lib: merge internal prefix tables

Replace multiple tables with some flags in a single table. This makes
the code in notmuch_database_open_verbose a bit shorter, and it should
also make it easier to add other options to fields, e.g. regexp
searching.

emacs: address: save hash

This allows the user to save the address hash so that it is much
faster for the first completion after a restart. This defaults to off
as there are privacy implications to saving this information.

The code tries hard to avoid overwriting the wrong file. It also notes
if changes have been made to any of the relevant user settings, so
that the user does not get surprising results (i.e., outdated options
being used). Finally it stores some version information so that is
easy for us to update the format of the save file.

emacs: address: move address-full-harvest-finished to a function

This makes the code access notmuch-address-full-harvest-finished via a
helper function, notmuch-address--harvest-ready. Later we will use
this to check whether we can load the harvest instead of regenerating
it.

cli: don't call _entry_in_ignore_list twice in count files debug

Split file ignores in count_files to fixed and user configured in
order to not have to call _entry_in_ignore_list twice when debugging
is enabled. Minor detail.

test: wrap 'wc -l' results in arithmetic evaluation to strip whitespace

Some new unwrapped 'wc -l's have been added since Jani's 60e79e3a9f1c8

lib: optimize counting documents

From #xapian

olly> bremner: btw, i noticed notmuch count see ms to request all the documents and then ignores them

bremner> hmm. There's something funny about the way that notmuch uses matches in general iirc

olly> it should be able to do: mset = enquire.get_mset (0, 0, notmuch->xapian_db->get_doccount ());
...
olly> get_matches_estimated() will be exact because check_at_least is the size of the database

docs: fix notmuch_message_properties_value documentation

It returns the value, not the key.

Merge tag '0.23.5'

notmuch 0.23.5 release

configure: remove leftover byte order test cleanup

Removing the removal of byteorder configure test files was overlooked
in commit 5a957c3f33e6 ("build & util: drop byte order configure check
and endian util header"). Finish the job.

NEWS,debian: set date for release

build & util: drop byte order configure check and endian util header

With the removal of the embedded libsha1, we lost the first and last
user of the platform byte order checks. Remove them from configure,
and remove the endian util header.

lib: use glib for sha1 digests instead of embedding libsha1

We already depend on glib both directly and indirectly (via gmime). We
might as well make use of its facilities. Drop the embedded libsha1
and use glib for sha1 digests.

test: allow user to choose which gdb to run tests with

The variable used for selecting gdb is TEST_GDB, consistent with
TEST_CC and TEST_EMACS{,CLIENT}.

Merge branch 'release'

These are the (tentative) changes for 0.23.5

docs: add 2017 to copyright years

bump version to 0.23.5

debian: changelog for 0.23.5-1

NEWS for 0.23.5