nmbug-status: Decode Popen output using the user's locale

Avoid:

  $ ./nmbug-status --list-views
  Traceback (most recent call last):
    File "./nmbug-status", line 47, in <module>
      'cat-file', 'blob', sha1+':status-config.json'],
  TypeError: can't concat bytes to str

by explicitly converting the byte-stream read from Popen into a
Unicode string.  On Python 2, this conversion is str -> unicode; on
Python 3 it is bytes -> str.

_ENCODING is derived from the user's locale (or system default) in an
attempt to match Git's output encoding.  It may be more robust to skip
the encoding/decoding by using a Python wrapper like pygit2 [1] for
Git access.  That's a fairly heavy dependency though, and using the
locale will probably work.

[1]: http://www.pygit2.org/

nmbug-status: Use email.utils instead of rfc822

rfc822 has been deprecated since Python 2.3, and it's gone in
Python 3 [1].

[1]: http://docs.python.org/2/library/rfc822.html

nmbug-status: Convert to Python-3-compatible print functions

We shouldn't require folks to install Python 2 to run nmbug-status.

emacs: initialize ido(-completing-read) in emacs 23.[123]

Otherwise `ido-completing-read' will freeze after PROMPT is displayed.

completion: bash completion for notmuch new --quiet option

notmuch new now has --quiet option, complete it too.

configure: only install bash completion if supported

Our bash completion depends on bash-completion 1.90 or later. Only
install where available.

emacs: ad-activate 'mm-shr after ad-disable-advice 'mm-shr

Imitated from "Enabling advice" in Emacs lisp manual...

ad-disable-advice by itself only changes the enable flag for a
piece of advice. To make the change take effect in the
advised definition, the advice needs to be activated again.

test: add basic tests for notmuch new --quiet option

This does not cover all the possible paths notmuch new could output
stuff, but it's better than nothing.

emacs: add notmuch-assert-cli-sane to notmuch-hello

This is meant to be the friendly entrypoint, so let's do something
better than the mangled output described in

       id:5228989D.8030607@fifthhorseman.net

emacs: add function notmuch-assert-cli-sane

If the CLI seems borked, signal an error, and log a suggestion for the
user about how to recover.

emacs: add a function to heuristically test if the CLI is configured OK.

We cache the result so that we can call the function many places
without worrying about the cost.

man: document notmuch new --quiet option

cli: add --quiet option to notmuch new

Tie it to --verbose (resulting in verbosity levels of quiet, normal,
and verbose) but leave --debug orthogonal. Do some drive-by cleaning
while at it.

cli: abstract notmuch new result printing

The notmuch_new_command() function has grown huge, chop it up a
bit. This should also be helpful when adding a --quiet option to
notmuch new. No functional changes.

cli: for loop is more customary

With the happy day stop condition within the while, it was
confusing. Switch to the paradigm for loop. No functional changes.

cli: use dirent_type in count_files too

Avoid an extra stat per file, if possible, also when counting the
files for initial indexing.

cli: only check the ignore list if needed

Premature optimization is the root of all evil, but this is simple
enough.

cli: extract single message addition in notmuch new to clarify code

The add_files() function has grown huge, chop it up a bit. No
functional changes.

lib: update documentation for notmuch_database_get_directory

Clarify that using the directory after destroying the corresponding
database is not permitted.

This is implicit in the description of notmuch_database_destroy, but
it doesn't hurt to be explicit, and we do express similar "ownership"
relationships at other places in the docs.

build: delete the default .SUFFIXES

All implicit rules in notmuch Makefiles are "pattern rules"; Deleting the
default suffixes (to support obsolete, old-fashioned "suffix rules") from
make reduces the output of 'make -d' by 40 to 90 percent, helping e.g.
debugging make problems.

notmuch-show: detect NULL pointer returned from notmuch_query_search_threads

We want to return an error status, not 0 or (worse) segfault.

lib: make notmuch_threads_valid return FALSE when passed NULL

Without this patch, the example code in the header docs crashes for certain
invalid queries (see id:871u00oimv.fsf@approx.mit.edu)

test: add known broken test exit code of notmuch show

This test catches a segfault on a syntactically invalid query. It also
catches a problem with my initial fix, which still returned 0.

man: update notmuch-dump man page for new default.

Actually the previous default was not documented explicitely.  I moved
the batch-tag section first because it seemed that the formats were
previously documented in order default, other.

notmuch dump: default to batch-tag format.

Although we didn't formally deprecate the old format, the new one has
been available for a year.

cli: abstract common config get/set code

Pretty straightforward abstraction similar to get/set list.

lib: fix error handling

Currently if a Xapian exception happens in notmuch_message_get_header,
the exception is not caught leading to crash. In
notmuch_message_get_date the exception is caught, but an internal error
is raised, again leading to crash.

This patch fixes the error handling by making both functions catch the
Xapian exceptions, print an error and return NULL or 0.

The 'notmuch->exception_reported' is also set, as is done elsewhere,
even if I don't really get the idea of that field.

Signed-off-by: Tomi Valkeinen <tomi.valkeinen@iki.fi>

cli: close config and do talloc report also on errors

Seems like the sensible thing to do.

cli: clean up exit status code returned by the cli commands

Apart from the status codes for format mismatches, the non-zero exit
status codes have been arbitrary. Make the cli consistently return
either EXIT_SUCCESS or EXIT_FAILURE.

emacs: tree: use tag-format-tags

Previously tree did not use tag-format-tags: since tree wants to
distinguish matching messages from non-matching messages it is not a
perfect fit.

However, in preparation for allowing tag-changes to be shown (i.e.,
added or deleted tags to be indicated) it is convenient to make all
places displaying tags call the same routines.

We modify notmuch-tag-format-tags slightly so that it can take and
argument for the default characteristics of the face before the
special tag features are applied.

This also means that things like the star symbol for flagged messages
all work in tree.

emacs: tree: default face for matching/non-matching messages

This adds default faces for matching and non-matching messages. This
makes it easier for a user to do broad customization without having to
customize every field. It also fits more neatly with the next patch
which switches to using notmuch-tag-format-tags for tag formatting.

We set the field specific face customization to nil for all the fields
which use the message default face to make it clear to a user which
fields customizations are being used.

test: leave T\d\d\d- in variable $this_test and introduce $this_test_bare

Script `notmuch-test` expects the results file have T\d\d\d- part
intact so the results files (and some test output files) are now
name as such.
Without this change `notmuch-test` will exit in case the test
script it was executing exited with nonzero value.

The T\d\d\d- part is dropped in new variable $this_test_bare which is
used in progress informational messages and when loading .el files in
emacs tests (whenever $this_test_bare.el exists).

lib: fix clang compiler warning

With some combination of clang and talloc, not using the return value
of talloc_steal() produces a warning. Ignore it, as talloc_steal() has
no failure modes per documentation.

test: add test for syntax of emacs test library

If there is a syntax error in the emacs test library, it causes other
tests to hang or crash without a useful error message.

This test could be eliminated if the error reporting for emacs tests
was somehow improved.

cli: initialize quiet variable in compact

Surprisingly there's no compiler warning!

test: renamed test scripts to format T\d\d\d-name.sh

All test scripts to be executed are now named as T\d\d\d-name.sh,
numers in increments of 10.

This eases adding new tests and developers to see which are test scripts
that are executed by test suite and in which order.

test: basic: drop 'ensure all available tests are run'

When naming test scripts in format 'T\d\d\d-name.sh' the list of
tests to run are created dynamically. This makes test

'Ensure that all available tests will be run by notmuch-test'

in test/basic obsolete.

emacs: tree remove comma separator tags

Previously the tags on each line in tree view were separarted by ", "
not just " ". This is different from show and search views.

This patch removes this comma. This is a large patch as essentially
every line of each of the expected outputs in the tree tests needs
updating.

Apart from aesthetic reasons this simplifies the switch to
notmuch-tag-format-tags in the next patch.

build: remove trailing '/.' when doing mkdir -p .deps/.

When make variable $@ does not contain directory part, $(@D)
resolves as '.'. In this case .deps/$(@D) is '.deps/.'
In some systems `mkdir [-p] directory/.` fails.
To make this compatible with more system substitute trailing
'/.' (slashdot) with '' (empty string) whenever it occurs there.

emacs: Makefile.local: HAVE_EMACS usage fixes

If we don't have emacs, disable targets that used EMACS while doing
the recipes of that target.

If we do have emacs, make install-emacs depend on *.elc files,
as making the target will attempt to install those.

Merge tag 'debian/0.17-3'

uploaded to Debian unstable

debian: add single-debian-patch

The point of fancy patch systems is to share things with upstream. We
have met the upstream and he is us.

debian: finalize changelog for 0.17-3

test/emacs: replace the use of process-attributes with signal-process

In some environments (at least Hurd), process-attributes is
unimplimented and always returns nil.  This ends up causing test
failures (see e.g. id:87a9ffofsc.fsf@zancas.localnet).

Historically and according to POSIX 1003.1-2001, a signal of 0 can be
used to check the validity of a pid. This seems less heinous than
parsing the output of ps(1).

debian: update notmuch-emacs for emacs policy 2.0.6

This involves
- the meta-flavour emacs has gone away
- a compat file is needed (also installed by dh_installemacsen)
- a conflict with pre-2.0.0 emacsen-common
- manually managing the "installed" semaphore file

lib: modify notmuch.h for automatic document generation

Minimal changes to produce a sensible result.

devel: add doxygen configuration file

This is a pretty basic config to get started, generated using 'doxygen
-s -g' and mildly tweaked.

To generate the library man page man/man3/notmuch.3 from lib/notmuch.h
use:

$ doxygen devel/doxygen.cfg

insert: respect maildir.synchronize_flags

Don't synchronize maildir flags if the user doesn't want it.

test: notmuch insert with maildir.synchronize_flags=false

Known broken, notmuch insert does not respect the config option.

emacs: tree: bare-id in tree

Previously notmuch-tree-get-message-id always returned the id
including the prefix "id:". Modify the function to take an optional
`bare' argument saying to return the raw string.

This will be useful later and brings the function in line with
notmuch-show-get-message-id.

test: tree: pick remnants removed

Some no longer needed traces of pick remain in the emacs-tree
test. Remove these.

Merge tag 'debian/0.17-2'

uploaded to unstable

debian: rename NEWS.Debian to NEWS

Apparently I had it backwards: NEWS is installed as NEWS.Debian, not
vice-versa.

Merge tag '0.17'

notmuch 0.17 release

devel/release-checks.sh: adjust to LIBNOTMUCH version checks

NOTMUCH_VERSION_* macros in lib/notmuch.h are replaced with
LIBNOTMUCH_VERSION_* macros. Check that the values of those
match the LIBNOTMUCH_*_VERSION values in lib/Makefile.local.

version: bump to 0.17

debian: add changelog and NEWS.Debian for release

NEWS.Debian is displayed at install, so we include the news item about
the disruptive change in sha1 computation.

debian: disable atomicity tests on ia64

The following fails on Debian ia64:

% gdb /bin/mv
(gdb) break rename

Since this breaks our atomicity test, disable them until someone is
motivated to figure out whose fault that is.

Merge tag '0.17_rc4'

notmuch 0.17~rc4 release

version: bump to 0.17~rc4

Unfortunately release-checks.sh will whine a bit because it has not
caught up with the renaming of the version macros.

test: Fix transient error in 'new' test

This fixes a non-deterministic failure in "Ignore files and
directories specified in new.ignore (multiple occurrences)".  The test
assumed that all directories would be scanned, even though nothing
updated the mtime of ${MAIL_DIR}.  It *usually* worked nevertheless
because the tests run quickly enough that the directory mtime is
usually the same as the current time, so notmuch new does not update
the mtime in the database (because more changes could occur in the
same second).  However, when it occasionally did update the mtime in
the database, the notmuch new call in this test would (correctly) skip
"pass 2" of scanning ${MAIL_DIR}, causing it to skip the following
expected lines:

  (D) add_files_recursive, pass 2: explicitly ignoring ${MAIL_DIR}/.git
  (D) add_files_recursive, pass 2: explicitly ignoring ${MAIL_DIR}/.ignored_hidden_file
  (D) add_files_recursive, pass 2: explicitly ignoring ${MAIL_DIR}/ignored_file

This patch fixes this problem by touching ${MAIL_DIR} to ensure it
gets scanned and by rearranging the test to ensure the directories are
touched immediately before the main notmuch new call in the test.

test: remove call to notmuch-hello from emacs_deliver_message

There is an obscure bug in notmuch-hello that very occasionally causes
emacs_deliver_message to fail. Since it it doesn't serve any actual
purpose in the function we delete it, and leave tracking down the the
bug for another day.

test: add emacs_fcc_message that does not use smtp-dummy

Most of the tests previously using emacs_deliver_message do not use
the actual transmitted message, so we replace it with a simpler (and
presumably more reliable function) that only saves (and indexes) an
fcc copy of the message.

perf-test: bump version to 0.4, use manifest files

The new revision of the performance test includes manifests for each corpus,
so update the support library to use these manifests at the same time.

emacs: add '?' to some prefix keymaps to describe its bindings

Added function notmuch-subkeymap-help to describe keybindings of a
subkeymap (eg after . or c in notmuch-search and notmuch-show).

test: implement and document NOTMUCH_TEST_QUIET variable usage

When NOTMUCH_TEST_QUIET environment variable is set to non-null value
messages when new test script starts and when test PASSes are disabled.
This eases picking the cases when tests FAIL (as those are still printed).

test: print empty line at the beginning of test script, not at end

In preparation for quiet mode print empty line before writing the
test description. This is done now in function designed for it --
it will also be called when test fails.

test: resolve `basename "$0" .sh` once for all in test-lib.sh

test-lib.sh sometimes did equivalent of `basename "$0" .sh`, sometimes
skipping the basename part and sometimes .sh part. This worked as
we never had path components in $0 (more than ./) nor .sh ending.

Now the equivalent of `basename "$0" .sh` is done once and used
everywhere. In the future we may have .sh suffix in test names
-- removing those is a good idea.

test: give unique timestamps to messages

The choice of decreasing timestamps is a hack which reduces the number
of existing tests which fail.  This can be changed to increasing
if/when somebody wants update another 47 tests.

test: sanitize dates in emacs, raw, and text output

add a new function notmuch_date_sanitize for rfc822-ish things. Add
date sanitization to notmuch_show_sanitize_all and use it more places.

This is all in aid of a transition to unique timestamps on messages.

test: sanitize Date and timestamp fields in json

Eventually we want test messages to have distinct dates to avoid
reproducability problems. This sanitization will prevent some test
failures when that change is made.

Replace the use of a local function in maildir-sync with
notmuch_json_show_sanitize

test: pass expected output through json_sanitize in 2 places

This makes the tests more robust against changes in the
sanitization rules.

version: bump version

Roll (one last?) release candidate because of Austin's
LIBNOTMUCH_VERSION changes.

Atomically bump the manually (NEWS, debian/changelog) and
automatically (everywhere else) updated places version is mentioned.

lib: Bump library version from 3.0.0 to 3.1.0

This version of the library introduces LIBNOTMUCH_CHECK_VERSION and
the *_VERSION macros.  Bumping the version number is also necessary to
make the comment on LIBNOTMUCH_CHECK_VERSION no longer a lie.

lib: Replace NOTMUCH_*_VERSION with LIBNOTMUCH_*_VERSION

This makes it clear that these macros refer to the *library* version,
and not to the notmuch application-level release.  Since there are no
consumers of these macros yet, this is now or never.

lib: Make VERSION macros agree with soname version

We have two distinct "library version" numbers: the soname version and
the version macros.  We need both for different reasons: the version
macros enable easy compile-time version detection (and conditional
compilation), while the soname version enables runtime version
detection (which includes the version checking done by things like the
Python bindings).

However, currently, these two version numbers are different, which is
unnecessary and can lead to confusion (especially in things like
Debian, which include the soname version in the package name).  This
patch makes them the same by bumping the version macros up to agree
with the soname version.

(We should probably keep the version number in just one place so they
can't get out of sync, but that can be done in another patch.)

News updates for Mark's bugfixes

debian: reformat changelog to avoid lintian warning.

NEWS: bump date

version: bump to 0.17~rc2

debian: update changelog for new release candidate

test/crypto: disable gpg version printing

This was causing test failures because version strings varied in
length between GNU/Linux and GNU/KFreeBSD. One can also imagine
different versions of gnupg causing the same failure.

vim: NEWS for vim interface

Transcribed from Felipe's email.

debian: remove warning about emacs24

util: detect byte order

Unfortunately old versions of GCC and clang do not provide byte order
macros, so we re-invent them.

If UTIL_BYTE_ORDER is not defined or defined to 0, we fall back to
macros supported by recent versions of GCC and clang

NEWS: News for big endian sha1 bug fix.

We could give more details about how to migrate tags, but I'm not sure
that it's a practical problem, or just a theoretical one.

lib: fix byte order test in libsha1.c

Previously PLATFORM_BYTE_ORDER and IS_LITTLE_ENDIAN were not defined,
so the little endian code was always compiled in.

This will have the effect that the "SHA1s" on big endian architectures
will change (i.e. become actual sha1s). So someone re-indexing their
database could conceivable lose tags on messages without a message-id
header.

debian: disable gdb as a build-dependency on s390x

Gdb is currently broken on s390x buildd's and porterboxes (see #728705).
By removing it as a build-dep, we disable the (failing) atomicity test on this
architecture

Add NEWS entry for notmuch-compact

Signed-off-by: Ben Gamari <bgamari.foss@gmail.com>

debian: add notmuch_database_compact to symbols file.

This change does not require an SONAME bump because it only adds a symbol.

debian: changelog stanza for release candidate

version: bump to 0.17~rc1

Various other files are synched using "make update-versions".  NEWS
has to be hand edited.

NEWS: remove blank line.

Tomi says I have to.

test: replace $PWD with YYY in emacs & emacs-show tests

When executed command line is written to *Notmuch errors* buffer,
shell-quote-argument will backslash-escape any char that is not in
"POSIX filename characters" (i.e. matching "[^-0-9a-zA-Z_./\n]").

Currently in two emacs tests shell has expanded $PWD as part of
emacs variable, which will later be fed to #'shell-quote-argument
and finally written to ERROR file. If $PWD contained non-POSIX
filename characters, data in ERROR file will not match $PWD when
later comparing in shell. Therefore, in these two particular cases
the escaped $PWD is replaced with YYY in ERROR file and expected
content is adjusted accordingly.

emacs: show: stop stderr appearing in buffer

In emacs 24.3+ the stdout/stderr from externally displaying an
attachment gets inserted into the show buffer. This is caused by
changes in mm-display-external in mm-decode.el.

Ideally, we would put this output in the notmuch errors buffer but the
handler is called asynchronously so we don't know when the output will
appear. Thus if we put it straight into the errors buffer it could get
interleaved with other errors. Also we can't easily tell when we
have got all the error output so can't wait until the process is complete.

One solution would be to create a new buffer for the stderr of each
attachment viewed. Again, since we can't tell when the process has
finished, we can't close these buffers automatically so this will
leave lots of buffers around.

Thus we add a debug variable notmuch-show-attachment-debug: it this is
non-nil we create a new buffer for each viewer; if this variable is
nil we just use a temp buffer which means all error output is
discarded (this is the same behaviour as with emacs pre 24.3).

vim: add help file

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: check compose is done on delete

Not on unload, which happens when we switch buffers.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: remove unnecessary buffer queue

Vim handles the buffers just fine: when one is deleted, we go to the
previous one.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: add wrapper for old variable names

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: move default sets to set_defaults()

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>