test: sanitize Date and timestamp fields in json

Eventually we want test messages to have distinct dates to avoid
reproducability problems. This sanitization will prevent some test
failures when that change is made.

Replace the use of a local function in maildir-sync with
notmuch_json_show_sanitize

test: pass expected output through json_sanitize in 2 places

This makes the tests more robust against changes in the
sanitization rules.

version: bump version

Roll (one last?) release candidate because of Austin's
LIBNOTMUCH_VERSION changes.

Atomically bump the manually (NEWS, debian/changelog) and
automatically (everywhere else) updated places version is mentioned.

lib: Bump library version from 3.0.0 to 3.1.0

This version of the library introduces LIBNOTMUCH_CHECK_VERSION and
the *_VERSION macros.  Bumping the version number is also necessary to
make the comment on LIBNOTMUCH_CHECK_VERSION no longer a lie.

lib: Replace NOTMUCH_*_VERSION with LIBNOTMUCH_*_VERSION

This makes it clear that these macros refer to the *library* version,
and not to the notmuch application-level release.  Since there are no
consumers of these macros yet, this is now or never.

lib: Make VERSION macros agree with soname version

We have two distinct "library version" numbers: the soname version and
the version macros.  We need both for different reasons: the version
macros enable easy compile-time version detection (and conditional
compilation), while the soname version enables runtime version
detection (which includes the version checking done by things like the
Python bindings).

However, currently, these two version numbers are different, which is
unnecessary and can lead to confusion (especially in things like
Debian, which include the soname version in the package name).  This
patch makes them the same by bumping the version macros up to agree
with the soname version.

(We should probably keep the version number in just one place so they
can't get out of sync, but that can be done in another patch.)

News updates for Mark's bugfixes

debian: reformat changelog to avoid lintian warning.

NEWS: bump date

version: bump to 0.17~rc2

debian: update changelog for new release candidate

test/crypto: disable gpg version printing

This was causing test failures because version strings varied in
length between GNU/Linux and GNU/KFreeBSD. One can also imagine
different versions of gnupg causing the same failure.

vim: NEWS for vim interface

Transcribed from Felipe's email.

debian: remove warning about emacs24

util: detect byte order

Unfortunately old versions of GCC and clang do not provide byte order
macros, so we re-invent them.

If UTIL_BYTE_ORDER is not defined or defined to 0, we fall back to
macros supported by recent versions of GCC and clang

NEWS: News for big endian sha1 bug fix.

We could give more details about how to migrate tags, but I'm not sure
that it's a practical problem, or just a theoretical one.

lib: fix byte order test in libsha1.c

Previously PLATFORM_BYTE_ORDER and IS_LITTLE_ENDIAN were not defined,
so the little endian code was always compiled in.

This will have the effect that the "SHA1s" on big endian architectures
will change (i.e. become actual sha1s). So someone re-indexing their
database could conceivable lose tags on messages without a message-id
header.

debian: disable gdb as a build-dependency on s390x

Gdb is currently broken on s390x buildd's and porterboxes (see #728705).
By removing it as a build-dep, we disable the (failing) atomicity test on this
architecture

Add NEWS entry for notmuch-compact

Signed-off-by: Ben Gamari <bgamari.foss@gmail.com>

debian: add notmuch_database_compact to symbols file.

This change does not require an SONAME bump because it only adds a symbol.

debian: changelog stanza for release candidate

version: bump to 0.17~rc1

Various other files are synched using "make update-versions".  NEWS
has to be hand edited.

NEWS: remove blank line.

Tomi says I have to.

test: replace $PWD with YYY in emacs & emacs-show tests

When executed command line is written to *Notmuch errors* buffer,
shell-quote-argument will backslash-escape any char that is not in
"POSIX filename characters" (i.e. matching "[^-0-9a-zA-Z_./\n]").

Currently in two emacs tests shell has expanded $PWD as part of
emacs variable, which will later be fed to #'shell-quote-argument
and finally written to ERROR file. If $PWD contained non-POSIX
filename characters, data in ERROR file will not match $PWD when
later comparing in shell. Therefore, in these two particular cases
the escaped $PWD is replaced with YYY in ERROR file and expected
content is adjusted accordingly.

emacs: show: stop stderr appearing in buffer

In emacs 24.3+ the stdout/stderr from externally displaying an
attachment gets inserted into the show buffer. This is caused by
changes in mm-display-external in mm-decode.el.

Ideally, we would put this output in the notmuch errors buffer but the
handler is called asynchronously so we don't know when the output will
appear. Thus if we put it straight into the errors buffer it could get
interleaved with other errors. Also we can't easily tell when we
have got all the error output so can't wait until the process is complete.

One solution would be to create a new buffer for the stderr of each
attachment viewed. Again, since we can't tell when the process has
finished, we can't close these buffers automatically so this will
leave lots of buffers around.

Thus we add a debug variable notmuch-show-attachment-debug: it this is
non-nil we create a new buffer for each viewer; if this variable is
nil we just use a temp buffer which means all error output is
discarded (this is the same behaviour as with emacs pre 24.3).

vim: add help file

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: check compose is done on delete

Not on unload, which happens when we switch buffers.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: remove unnecessary buffer queue

Vim handles the buffers just fine: when one is deleted, we go to the
previous one.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: add wrapper for old variable names

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: move default sets to set_defaults()

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: rename public notmuch_rb variables

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: rename internal notmuch_rb variables

Now we are the official one.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: add option to compose new messages

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: refactor open_reply()

In preparation for composing new messages.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: trivial cleanup

Using $email_address is more straight forward.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: don't execute search if it's cancelled

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: generate custom message-id

Using Mail as a reference.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: split $email_address

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: allow calling with arguments

For example:

  :NotMuch date:today

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: add option to save the patches of a patch series

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: use much clearer sort constant

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: show first message of the thread

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: refactor database handling

To minimize memory usage we need to destroy the queries and the
databases, so we should keep track of them.

Each buffer gets a database connection that is destroyed when the buffer
is destroyed, and all the queries along with it.

Ideally notmuch should destroy the queries when the database is
destroyed, but it's not doing that at the moment.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: use notmuch fields

They are better encoded than Ruby's Mail.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: don't automatically refresh after tagging

This operation might take a while, and even if it only takes fractions
of a second, that's not what the user might want.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: run mutt in default term

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

NEWS: insert quotable parts in reply as they are displayed in show view

News for
commit 5c19eb46a906819744a022463ee3fd7cdfaabbb9
Author: Jani Nikula <jani@nikula.org>
Date:   Sun Sep 1 20:59:53 2013 +0300

    emacs: insert quotable parts in reply as they are displayed in show view

emacs: do not put quoted reply in primary selection

In current emacs (24.3) select-active-regions is set to t by
default. The reply insertion code sets the region to the quoted
message to make it easy to delete (kill-region or C-w). These two
things combine to put the quoted message in the primary selection.

This is not what the user wanted and is a privacy risk (accidental
pasting of the quoted message). We can avoid some of the problems
by let-binding select-active-regions to nil. This fixes if the
primary selection was previously in a non-emacs window but not if
it was in an emacs window. To avoid the problem in the latter case
we deactivate mark.

One key test (which fails under many simpler "fixes") is: open emacs
24.3 with notmuch, open 2 windows (viewing different notmuch buffers),
highlight some text in one, and then reply to a message in the
other. In many of my earlier attempts to fix this big this test fails.

compact: improve error messages on failures after compaction

The error messages written during the steps replacing old
database with new now includes relevant paths and strerror.

compact: unconditionally remove old wip database compact directory

In case previous notmuch compact has been interrupted there is old
work-in-progress database compact directory partially filled. Remove
it just before starting to fill the directory with new files.

compact: preserve backup database until compacted database is in place

It is less error prone and window of failure opportunity is smaller
if the old (backup) database is always renamed (instead of sometimes
rmtree'd) before new (compacted) database is put into its place.
Finally rmtree() old database in case old database backup is not kept.

compact: catch Xapian::Error consistently

catch Xapian::Error in compact code in lib/database.cc to be consistent
with other code in addition to not making software crash on uncaught
other Xapian error.

compact: tidy formatting

Notmuch compact code whitespace changes to match devel/STYLE.

News for tree-view

emacs: tree: use remap for the over-ridden global bindings

Following a suggestion by Austin in id:20130915153642.GY1426@mit.edu
we use remap for the over-riding bindings in pick. This means that if
the user modifies the global keymap these modifications will happen in
the tree-view versions of them too.

[tree-view overrides these to do things like close the message pane
before doing the action, so the functionality is very close to the
original common keymap function.]

emacs: help: add a special function to deal with remaps

remaps are a rather unusual keymap consisting of "first key" 'remap
and then "second-key" the remapped-function. Thus we do the
documentation for it separately.

emacs: help: add base-keymap

To support key remapping in emacs help we need to know the base keymap
when looking at the remapping. keep track of this while we recurse
down the sub-keymaps in help.

emacs: help: split out notmuch-describe-key as a function

The actual documentation function notmuch-describe-keymap was getting
rather complicated so split out the code for a single key into its own
function notmuch-describe-key.

emacs: help: remove duplicate bindings

If the user (or a mode) overrides a keybinding from the common keymap
in one of the modes then both help lines appear in the help screen
even though only one of them is applicable.

Fix this by checking if we already have that key binding. We do this
by constructing an list of (key . docstring) pairs so it is easy to
check if we have already had that binding. Then the actual print help
routine changes these pairs into strings "key \t docstring"

emacs: help: save-match-data

The routines that construct the help page in notmuch-lib rely on
match-data being preserved across some fairly complicated code. This
is currently valid but will not be when this series is finished. Thus
place everything between the string-match and replace-match inside a
save-match-data.

emacs: help: check for nil key binding

A standard way to unset a key binding is local-unset-key which is equivalent to
  (define-key (current-local-map) key nil)

Currently notmuch-help gives an error and fails if a user has done this.

To fix this we only add a help line if the binding is non-nil.

emacs: Correct documentation of `notmuch-poll-script'

The functions referred to in the documentation for this variable were
replaced by the unified `notmuch-poll-and-refresh-this-buffer' in
21474f0e.  Update the documentation to reflect the new function.

NEWS: emacs: fix notmuch-mua-reply point placement

News for commit 4ceeaf8038ff241f438ad2a5d0bbda1c78aee385

Minor grammar edit by db.

remove notmuch-pick

Accumulated news for Austin's changes

completion: update bash completion

Update bash completion to cover new commands and options:

notmuch compact --quiet --backup=DIR
notmuch count --output=files --batch --input=FILE
notmuch insert --folder=DIR --create-folder
notmuch search --exclude=all --duplicate=N
notmuch show --include-html
notmuch tag --batch --input=FILE --remove-all

devel/release-checks.sh: check NOTMUCH_(MAJOR|MINOR|MICRO)_VERSION

New defines NOTMUCH_MAJOR_VERSION, NOTMUCH_MINOR_VERSION and
NOTMUCH_MICRO_VERSION were added to lib/notmuch.h.
Check that these match the current value defined in ./version.

emacs: Fix search tagging races

This fixes races in thread-local and global tagging in notmuch-search
(e.g., "+", "-", "a", "*", etc.).  Previously, these would modify tags
of new messages that arrived after the search.  Now they only operate
on the messages that were in the threads when the search was
performed.  This prevents surprises like archiving messages that
arrived in a thread after the search results were shown.

This eliminates `notmuch-search-find-thread-id-region(-search)'
because these functions strongly encouraged racy usage.

This fixes the two broken tests added by the previous patch.

emacs: Add known-broken tests for search tagging races

These tests check that both thread-local and global search tagging
operations are race-free.  They are currently known-broken because
they aren't race-free.

Add TODO about more efficient stable thread queries

search: Add stable queries to thread search results

These queries will match exactly the set of messages currently in the
thread, even if more messages later arrive.  Two queries are provided:
one for matched messages and one for unmatched messages.

This can be used to fix race conditions with tagging threads from
search results.  While tagging based on a thread: query can affect
messages that arrived after the search, tagging based on stable
queries affects only the messages the user was shown in the search UI.

Since we want clients to be able to depend on the presence of these
queries, this ushers in schema version 2.

emacs: Use notmuch tag --batch for large tag queries

(Unfortunately, it's difficult to first demonstrate this problem with
a known-broken test because modern Linux kernels have argument length
limits in the megabytes, which makes Emacs really slow!)

emacs: Support passing input via `notmuch-call-notmuch-*'

This adds support for passing a string to write to notmuch's stdin to
`notmuch-call-notmuch-process' and `notmuch-call-notmuch-sexp'.  Since
this makes both interfaces a little more complicated, it also unifies
their documentation better.

emacs: Move `notmuch-call-notmuch-process' to notmuch-lib

Previously, this was in notmuch.el, but all of the other notmuch call
wrappers were in notmuch-lib.el.  Move `notmuch-call-notmuch-process'
to live with its friends.  This happens to fix a missing dependency
from notmuch-tag.el, which required notmuch-lib, but not notmuch.

test: Fix missing erase-buffer in emacs test

The first subprocess error exit code test assumed the *Notmuch errors*
buffer would be empty.  Rather than assuming, make it so.

lib: Document extent of some return values

This documents the extent of the notmuch_messages_t* pointers returned
by notmuch_thread_get_toplevel_messages and
notmuch_thread_get_messages.

cli: Separate current and deprecated format version

Previously, the CLI would print a deprecation warning if a client
requested any format version other than the current one.  However, if
we add fields that are backwards-compatible, but want clients to be
able to depend on, we need to bump the version, but that doesn't make
the older version deprecated.

Hence, separate out the "minimum active" version and only print a
warning for requests below this version number.

schemata: Disambiguate non-terminal names

Previously, the show schema and the search schema used different
"thread" non-terminals.  While these schemata don't interact, this is
still confusing, so rename search's "thread" to "thread_summary".  To
further limit confusion, prefix all top-level search non-terminals now
begin with "search_".

man: document notmuch compact --quiet and --backup=DIRECTORY options

cli: add compact --quiet option and silence output with it

Provide a way to silence the output.

lib: add library version check macro

There have been some plans for making build incompatible changes to
the library API. This is inconvenient, but it is much more so without
a way to easily conditional build against multiple versions of
notmuch.

The macro has been lifted from glib.

emacs: move the show entry to tree into show.el

Move the keybinding and show specific helper from tree.el to show.el

emacs: add z to common keymap

Add the main entry "z" to notmuch-tree to the common keymap.

emacs: move search based tree functions to notmuch.el

Move a couple of the search mode specifc caller helpers for tree from
tree into notmuch.el.

test: tree: remove require from tests

Now tree is included by default we don't need to "require it" in the
test.

emacs: minimal change to load notmuch-tree by default

We want to load notmuch-tree when notmuch is loaded, so include it as
a require in notmuch.el. To avoid circular dependency we need to move
one keybinding from notmuch-tree.el to notmuch.el: it makes sense for
it to be defined there anyway.

Since tree is now loaded by default there is no need to print a
message when it is loaded.

emacs: tree: remove test for emacs from tree test

Now the test is in mainline we can remove the check that emacs exists.

test: move emacs-tree test into mainline

We move the emacs-tree test and associated files into the main test
directory and add the test to the list in notmuch-test.

emacs: add tree to the makefile

emacs: move notmuch-tree from contrib to mainline

emacs: tree: remove unneeded declarations

There are some crufty declare-functions and requires in notmuch-tree:
since it requires notmuch.el itself this all works but in preparation
for the move to mainline tidy this up.

emacs: move notmuch-help to lib

notmuch-help is in notmuch.el not notmuch-lib.el and this is
incovenient for the way pick/tree uses it. I think lib makes more
sense anyway so move it there.

cli: add compact --backup=DIRECTORY option, don't backup by default

It's the user's decision. The recommended way is to do a database dump
anyway. Clean up the relevant printfs too.

cli: return error status if compaction fails

As is customary for any tool.

lib: use the compaction backup path provided by the caller

The extra path component added by the lib is a magic value that the
caller just has to know. This is demonstrated by the current code,
which indeed has "xapian.old" both sides of the interface. Use the
backup path provided by the lib caller verbatim, without adding
anything to it.

lib: update documentation of callback functions for database_compact and database_upgrade.

Compact was missing callback documentation entirely, and upgrade did not discuss the
closure parameter.

lib: add closure parameter to compact status update callback

This provides much more flexibility for the caller.

lib: do not leak the database in compaction

Destroy instead of close the database after compaction, and also on
error path, to not leak the database.

lib: check talloc success in compact

In line with the allocation checks all around.

lib: construct compactor within try block to catch any exceptions

Constructors may also throw exceptions. Catch them.