build/emacs: add target to create elpa package

This package can be created without emacs, but will only be usable in
versions of emacs supporting package.el

build: Move variable definitions to Makefile.global

I noticed when trying to use VERSION (and derived variables) in a
subdirectory that the top level Makefile.local needed to be included
first. But according to c10085c77b407d9ea704f8b4f9e0a805f63e72cb it
actually needs to be last. To break this conflict, move the variables
definitions into a new Makefile.global.

Merge branch 'release'

Initial set of changes for 0.23.3

debian: start changelog stanza for 0.23.3-1

version: bump to 0.23.3

NEWS: note gnupg related test-suite fix

debian: disable dh_elpa_test

Currently it seems to interfere with running the notmuch test suite.
In any case we have no ert / buttercup format tests to run.

tests: account for varying-size cryptographic signatures

GnuPG 2.1.16 is now injecting the full issuer fingerprint in its
signatures, which makes them about 32 octets larger when
ascii-armored.

This change in size means that the size of the MIME parts will vary
depending on the version of gpg that the user has installed.  at any
rate, the signature part should be non-zero (this is true for
basically any MIME part), so we just test for that instead of an exact
size.

Merge tag '0.23.2'

notmuch 0.23.2 release

NEWS: set date for release

NEWS for notmuch-cycle-notmuch-buffers

NEWS: document fixes for emacs23

build: only install known man pages

Install man pages based on $(MAN_GZIP_FILES), which directly
corresponds to the man page source rst files. This way we can filter
the man pages to be installed as needed.

build: generate man page list from source files, not conf.py

Use $(wildcard ...) to generate the list of man pages based on the rst
source files present in the man page directories, instead of reading
conf.py. This has three main benefits:

1) This makes the man page build slightly less complicated and easier
   to understand. At least there are fewer moving parts.

2) This makes the build fail if we add a man page rst file, but fail
   to add it to conf.py.

3) We can use Sphinx constructs in conf.py that are not available when
   importing the file into a normal python program such as
   mkdocdeps.py.

build: do not touch roff files after sphinx-build

If Sphinx fails to create any of the roff files, having touch create
them hides the errors until someone realizes, possibly much later,
that the resulting files are empty. (Note that gzip doesn't fail on
empty input files.) Sphinx will change the timestamps of any files it
has written anyway.

doc: fix references in notmuch-emacs.rst

Fix make sphinx-texinfo warnings:

WARNING: undefined label: notmuch-jump (if the link has no caption the
label must precede a section header)

WARNING: undefined label: notmuch-saved-searches (if the link has no
caption the label must precede a section header)

doc/conf.py: include command name in texinfo document title

Seems to make more sense than to have the same title for everything.

doc/conf.py: reindent, whitespace clean man page, texinfo lists

No functional changes.

doc/conf.py: abstract notmuch authors

Don't repeat the same stuff so much. We probably don't want to track
individual authors for man/texinfo pages anyway.

No user visible changes.

doc/conf.py: generate texinfo_documents list from man_pages list

No need to repeat mostly the same information twice in conf.py. We
probably want to have a corresponding texinfo document for all the man
pages. Python list comprehension to the rescue. (The reverse is not
true; we have a texinfo document for notmuch-emacs we don't want as a
man page.)

There should be no user visible changes.

doc/conf.py: add notmuch-emacs-mua to texinfo documents

This was overlooked when adding the man page.

Merge branch 'release'

Updates for 0.23.2

debian: changelog stanza for 0.23.2-1

version: bump to 0.23.2

debian: convert to use dh-elpa

This packaging helper eliminates most of the boilerplate from packaging
emacs extensions for debian. It requires package.el compatible metadata.

emacs: generate notmuch-pkg.el

This file contains metadata for the built in (as of emacs 24) packaging
system.

emacs: add compatibility functions for emacs 23

Some of the recent changes to the emacs code have used functions
introduced in emacs 24. The functions used are read-char-choice and
setq-local. This changeset adds a file notmuch-compat.el which
contains compatibility functions so that it should work on emacs
23.

Note, since these functions are taken almost unchanged from the emacs
source they are copyright the Free Software Foundation, and the header
in the file reflects that.

lib: optionally silence Xapian deprecation warnings

This is not ideal, but the new API is not available in Xapian 1.2.x, and
it seems to soon to depend on Xapian >= 1.4

Test: fix draft test for emacs23

emacs24 and emacs23 have different secure tag defaults: in particular,
mml-secure-message-sign only signs the part on emacs23 but the whole
message on emacs24. This difference makes one of the draft tests fail
(which causes a cascade of later failures) on emacs23. It seems that
travis uses emacs23 so it is useful to fix this.

We do this by forcing the whole message to be signed in either case --
the code snippet is extracted from mml-secure-message-sign on emacs24.

emacs: resume messages

Provide functionality to resume editing a message previously saved with
notmuch-draft-save, including decoding the X-Notmuch-Emacs-Secure
header.

Resume gets the raw file from notmuch and using the emacs function
mime-to-mml reconstructs the message (including attachments).

'e' is bound to resume a draft from show or tree mode.

emacs: check drafts for encryption tags before saving

In general the user may not want to save plaintext copies of messages
that they are sending encrypted, so give them a chance to abort.

emacs: postpone a message

This provides initial support for postponing in the emacs frontend;
resuming will follow in a later commit. On saving/postponing it uses
notmuch insert to put the message in the notmuch database

Current bindings are C-x C-s to save a draft, C-c C-p to postpone a
draft (save and exit compose buffer).

Previous drafts get tagged deleted on subsequent saves, or on the
message being sent.

Each draft gets its own message-id, and we use the namespace
draft-.... for draft message ids (so, at least for most people, drafts
are easily distinguisable).

emacs: tree: remove binding for pressing button in message pane

We want to use "e" for editting postponed messages in show, and in
tree view, so remove the binding for the function which does

     (In message pane) Activate BUTTON or button at point

emacs: rename notmuch-address-completion-hook to notmuch-address-post-completion-functions

Apparently it is a (not completely adhered to) emacs convention [1] that
only hooks that don't take arguments end in 'hook'

[1]: https://www.gnu.org/software/emacs/manual/html_node/elisp/Hooks.html

completion: complete mimetype: search prefix

Use /etc/mime.types if available, parsed using a sed one-liner, and
fall back to a handful of common types otherwise.

emacs: add notmuch-address-post-completion-hook

This hook can be used to update the message based on the results of
address completion. For example using message-templ or gnus-alias to set
the From address based on the To address just completed.

The post-completion command is added to the notmuch-company backend to
ensure that the hook is also called company completion is started
without going through notmuch-address-expand-name. See the docstring of
`company-backends' for more information.

emacs: tree: use message pane decryption state for replies

This makes replying to a message in tree view, use the decrypted state
from the message pane if it is open. Previously it just used the
global decryption state from notmuch-crypto-process-mime.

In particular if notmuch-crypto-process-mime is nil, and the user
views the messages (which doesn't decrypt), toggles decryption in the
message pane, and then replies, the reply will be decrypted.

emacs: tree: allow the user to decrypt the message pane

This makes $ in the tree pane toggle decryption in the message
pane. Without this the user can only decrypt the message pane by
switching to it, or by setting decryption on globally by setting
notmuch-crypto-process-mime to t.

notmuch-emacs-mua: add support for mailto: URL handling

Add support for composing an email in the Notmuch Emacs UI using a
mailto: URL. The mailto: URL mode is mutually exclusive with
specifying other message modifying parameters and positional
arguments.

emacs: make faces readable on dark backgrounds.

The notmuch-tag-flagged, notmuch-search-flagged-face and
notmuch-crypto-part-header faces defaulted to "blue", which is nearly
unreadable when a dark background is in use.  This is addressed by using
"LightBlue1" for dark backgrounds.

As a side effect, these faces are now no-op definitions for grayscale or
mono displays.

cli: try to run external notmuch- prefixed commands as subcommands

If the given subcommand is not known to notmuch, try to execute
external notmuch-<subcommand> instead. This allows users to have their
own notmuch related tools be run via the notmuch command, not unlike
git does. Also notmuch-emacs-mua will be executable via 'notmuch
emacs-mua'.

By design, this does not allow notmuch's own subcommands to be
overriden using external commands.

emacs: make notmuch-search-tag tag the region when called non-interactively.

The normal tag commands in search mode tag the all threads meeting the
region when called interactively. This makes them do the same when
called non-interactively. This is a change in the api.

Merge branch 'release'

merge interesting buffers bugfix from release

lib: replace deprecated xapian call 'flush()' with 'commit()'

This will make notmuch incompatible with Xapian before 1.1.0, which is
more than 6 years old this point.

test/test-lib.sh: execute basename(1)s lazier in test_expect_equal_file ()

Moved the 2 basename(1) executions to the test failure branch in
test_expect_equal_file ().

The output of basename(1) executions in function test_expect_equal_file ()
are only used when tests fails -- when all tests pass these 2 basename(1)
executions are no longer done at all.

emacs: tree: make tag updates show in the message pane

This makes tag changes appear in the message pane as well as in the
tree window.

Note that the message pane is reloaded each time a message is viewed
so the tags shown in the message pane can still be different from
those in the tree window. Usually this will just be that the tag
change is still shown as a change (strikethough underline etc) in the
tree window, and are shown after the change in the message
pane. However, if something else updates the database then the tags
shown can be genuinely different.

emacs: interesting-buffer bugfixes/updates

The command notmuch-interesting-buffer has got out of date -- it
doesn't mention notmuch-tree, and it still refers to message-mode not
notmuch-message-mode. Update both of these.

This fixes the bug that notmuch-cycle-notmuch-buffers does not include
notmuch-tree or notmuch-message-mode buffers in its cycling.

devel: Document emacs keybindings

This adds a file under devel listing all the keybindings sorted by key
in the main three modes (search, show and tree).

To reduce clutter it only lists the single key "unmodified"
keybindings: I think all our uses of prefixes and modifiers are
natural variants of the unmodified binding (eg M-n compared to n in
show mode)

This should make easier to see what keybindings are available when
adding new features.

Merge tag '0.23.1'

notmuch 0.23.1 release

finalize release 0.23.1

Add notmuch-show--build-queries.

notmuch-show--build-buffer now queries a list of queries built by the
former.  This simplifies the logic.  It also provides an easy place to
experiment with alternate sets of queries for given notmuch-show-*
variables (e.g. users can use advice-add to do so in a surgical way).

Merge in test-suite, docstring fixes, release prep

debian: start changelog stanza for 0.23.1

version: bump to 0.23.1

NEWS for two bugfixes

This adds news items for the two bugs

    emacs: search face bugfix
and
    emacs: fix notmuch-search-line-faces defcustom

Expand docstrings about fcc using notmuch-insert

This commit expands docstrings for notmuch-fcc-dirs and
notmuch-maildir-fcc-with-notmuch-insert to describe how quoted strings
are processed and make the ability to configure sent folders containing
whitespace more discoverable.

test: use vt100 as "smart" terminal for known dumb/unknown terminals

Otherwise use whatever user environment has set for TERM so
that there is more chance to test on users' actual environments.

test-lib.sh: rename $DTACH_TERM to $SMART_TERM

Merge emacs face fixes and NEWS

NEWS for 0.23.1

emacs: search face bugfix

In commit 2a7b11b064233afc4feead876fa396e3c18a6b91 the default faces
for unread and flagged were accidentally swapped. This swaps them back.

emacs: fix notmuch-search-line-faces defcustom

In commit 2a7b11b064233afc4feead876fa396e3c18a6b91 the default value
for notmuch-search-line-faces was changed so that it didn't match the
specification in the corresponding defcustom. This meant that it was
difficult for the user to customize this variable as they got a type
mismatch error.

Note anyone who had already customised this variable would not see
this bug as their customisation would match the defcustom.

emacs: add global keybinding M-= for refresh all buffers

We can't use c-u = as some of the notmuch-show refresh function
already uses that. This is a global keybinding for a relatively
infrequent function but M-= seems unlikely to cause conflicts.

emacs: notmuch-lib: add refresh all buffers function

notmuch-refresh-all-buffers calls each buffer's major mode specific
refresh function using the generic notmuch-refresh-this-buffer function.

Since the earlier changesets have stopped the refresh functions from
forcing the buffers to be redisplayed this can refresh buffers that
are not currently displayed without disturbing the user.  This is very
useful for silent async background updating the emacs display when new
mail is fetched.

Signed-off-by: Ioan-Adrian Ratiu <adi@adirat.com>

emacs: notmuch-show: refresh all windows displaying buffer

This updates all windows displaying a notmuch-show buffer when the
buffer refresh function is called.

Each window displaying a notmuch-show buffer has its own currently
displayed message based on the (point) location. We store the state
of all displayed windows when refreshing a notmuch-show buffer and
re-apply the current shown message (point) for all windows.

Implementation note: Each window has it's own (point) value, besides
the buffer's (point) value. Sometimes these values are identical like
in the case where a single window displays a buffer. When multiple
windows display a buffer, (point) returns each window's specific value.
What we are storing in this changeset is the window values not the
buffer point values. The buffer's point is returned only if no window
is displaying the buffer, a case we do not care about here.

Signed-off-by: Ioan-Adrian Ratiu <adi@adirat.com>

emacs: notmuch-search-refresh-view: reuse buffer

There's no reason to completely kill a buffer while refreshing its
search results because the buffer name is constant between refreshes
(based on the search query), only its contents may change and notmuch
search kills all local variables, so it's safe to reuse.

Reusing the same buffer also makes it possible to do things like
refreshing a buffer which is not focused or even not shown in any
window - this will be used in the next commits to add auto-refresh
capabilities to all existing notmuch buffers + a function to call
after syncing mail to refresh everything.

Signed-off-by: Ioan-Adrian Ratiu <adi@adirat.com>

emacs: notmuch-search: add no-display functionality

If no-display is non-nil when calling notmuch-search then do not force
the search buffer to be displayed.

Signed-off-by: Ioan-Adrian Ratiu <adi@adirat.com>

emacs: hello: stop update from forcing the buffer to be displayed

Make the notmuch-hello refresh function (notmuch-hello-update) not
force the buffer to be displayed. All the callers call it when the
buffer is already displayed so it will only affect non-interactive
callers. Since it is just a trivial wrapper of notmuch-hello anyone
who wants to force the buffer to be displayed should just call
notmuch-hello.

emacs: make the refresh functions more consistent

The different refreshed functions were called differently: some were
called interactively and some were not. Make them all interactive.

emacs: tree: make refresh use generic binding

Not using the generic binding is an anomaly from when tree was in
contrib (as pick).

Fix reply to encrypted mail when discouraging plain text.

If an encrypted multipart message is received which contains html and
notmuch-multipart/alternative-discouraged is set to discourage "text/plain",
any encrypted parts are not decrypted during generation of the reply
text. This fixes that problem by making sure notmuch-mua-reply does
that.

emacs: jump: make multilevel keys do multilevel jump

notmuch jump allows the user to specify a key sequence rather than
just a single key for its bindings. However, it doesn't show what has
already been typed so it can be difficult to see what has
happened. This makes each key press appear, and the jump menu reduce
to the possible follow up keys.

We also bind backspace (emacs symbol DEL) to go back up a level in the
subjumpmaps, and to exit from the top level.

emacs: tag-jump: docstring fix

In commit 297d091e1ca8f5b1e144d2be0a8e0a7c271634a8 the key for
switching to the reverse keymap was changed from r to k but the
docstring for the defcustom was not updated. This changeset updates
the documentation to match.

test: add known broken test for nondestructiveness of count

Thanks to Lucas (id:147263183913.27784.12274024193186585889@mbp) for the
bug report and the test case.

I decided to use the python version because the python bindings could
use more exercise.

test/T000-basic: replaced use of which(1) with shell builtin command -v

Some minimal chroot/container environments don't have which(1) installed.

merge buttonise-links patch to master

emacs/show: force notmuch-show-buttonise-links to act on lines

This seems to fix a problem with emacs 25 creating partial buttons by
calling n-s-b-l with a region that does not include the whole button.
I'm not 100% sure it's legit to act outside the region passed by
jit-lock, but goto-address-fontify-region (where I borrowed the code
from) already does this, so this patch to not make things worse.

emacs: mua: check for misplaced secure mml tags

Emacs message-send seems to ignore a secure mml tag anywhere except at
the start of the body, and it must be followed by a newline. Since
this is almost certainly not desired we check for it, and require user
confirmation before sending.

As the setup before message-send or message-send-and-exit is getting
more complicated it is convenient to unify the two correspoinding
notmuch functions.

emacs: mua: extract a common message-send function.

This commit adds a common message-send function for message-send and
message-send-and-exit. At the moment the overlap is small, but the
message-send function will get more complex.

emacs: include first match in address completion

The current code for address completion takes the list of possible
completions (whether generated internally or externally), makes the
first match the initial value for the completion, and puts all the
others (but not the first match) into the possible completions.

This has the nice effect that the <down> key takes you immediately to
the next completion (whereas if the first match were included in the
possible completions it would take you to the first match
again).

However, it has two side effects. First, once you have completed to
the full match you find it says and try completing again you get told
"no match" not "sole completion". Secondly, if you delete some of the
text and try completing you don't get the first match as an option.

This tries to get round most of these problems by including the full
list of possible completions, but with the first match moved to the
very end of the list.

emacs: add mimetype completions to searches

emacs: tag-jump: make k binding for the reverse tag change map

Currently, by default k invokes the tag-jump menu, and following it by
r invokes the reverse tag change jump menu. This is awkward to type
(e.g. k r u for undoing a -unread change). This changes it so that k
followed by k invokes the reverse menu. We make the key for the
reverse map a variable as that makes it possible for a user to
change it by editing their .emacs file.

Merge branch 'release'

lib: document API added in 0.23

The API was already documented, but for future readers note when the
functions were added,

require xapian >= 1.2.6

It seems that no-one tried to compile without Xapian compact support
since March of 2015, since that's when I introduced a syntax error in
that branch of the ifdef.

Given the choice of maintaining this underused branch of code, or
bumping the Xapian dependency to a version from 2011, it seems
reasonable to do the latter.

debian: changelog stanza for 0.23-2

emacs: add a tag jump menu

Add a customisable "jump" style menu for doing tagging operations.

nmbug: Add --no-renames to default log options

Git has supported this since b68ea12e (diff.c: respect diff.renames
config option, 2006-07-07, v1.4.2).  All of our information is in the
paths (the files are empty), so we don't want rename detection.  By
using --no-renames, we get entries like:

  $ nmbug log -- e473b453a2
  commit e473b453a25c072b5df67d834d822121373321f5
  Author: David Bremner <david@tethera.net>
  Date:   Sun Sep 25 07:54:11 2016 -0300

  D       tags/1474196252-31700-1-git-send-email-markwalters1009@gmail.com/0.23
  A       tags/1474196252-31700-1-git-send-email-markwalters1009@gmail.com/pushed

  ...

Instead of the old:

  $ nmbug log -- e473b453a2
  commit e473b453a25c072b5df67d834d822121373321f5
  Author: David Bremner <david@tethera.net>
  Date:   Sun Sep 25 07:54:11 2016 -0300

  R100    tags/1474196252-31700-1-git-send-email-markwalters1009@gmail.com/0.23   tags/1474196252-31700-1-git-send-email-markwalters1009@gmail.com/pushed

Merge tag '0.23'

notmuch 0.23 release

debian: changelog stanza for 0.23-1

NEWS: bump date to today

version: bump to 0.23

lib: bump minor version to mark added symbols

This should not change the SONAME, and therefore won't change the
dynamic linking behaviour, but it may help some users debug missing
symbols in case their libnotmuch is too old.

debian: changelog stanza for 0.23~rc1-1

version: update to 0.23~rc1

configure: set platform variables also when `uname` is unrecognized

Since commit

124a67e96ecab5495c0f17b6875d53dfd67ff137: configure: add set -u

all variables must be set before their expansion are attempted. These
2 variables: "platform" and "linker_resolves_library_dependencies" were
not given value in the final 'else' branch when platform check failed
due to unrecognized kernel name (output of `uname`). Now those two are
given reasonable non-empty values.

emacs: fcc: say we are doing Fcc

Since doing the Fcc with notmuch insert could be slow (if the indexing
takes some time) add a message saying we are doing it.

emacs: document notmuch-fcc-dirs

This updates the docstring for the variable notmuch-fcc-dirs to match
the new insert code.

NEWS: add news for fcc insert and address completion changes

lib/database.cc: fix misleading indentation

Found by gcc 6.1.1 -Wmisleading-indentation option (set by -Wall).