NEWS entry for id-links

This adds a NEWS entry for commit 4a4ada73b751b1916c5dc4d408a8056411566e38

NEWS entry for adding tab-completion to notmuch-search

Add a news entry for commit6a280088e6769015ade7758b9790384997a21ff3.

NEWS: mention improved search buffer performance, change Optimizations to Performance

via email: id:"20111116154317.GC2852@mit.edu"

notmuch.1: bump version number

More of a leap than a bump.  This is a bit silly keeping 3 files
syncronized. At least for this file, I would prefer a solution that
generates notmuch.1 from some template at build time.

RELEASING: update description of "make release".

The additional "safety feature" documented here is motivated by the
fact that I use gpg-agent and I don't always get the GPG prompt that
Carl was relying on as an abort point. The new version also allows
more to be done in "dry run" mode.

RELEASING: update discussion of version handling

This is definitely reaching the point where it should be automated.

RELEASING: update symbol handling description for current practice.

We really did bump SONAME, and we probably will again, but not just
for a simple symbol addition.

Debian versions generally need to be removed from symbols file; this
wasn't a problem before because there was no Debian versions

NEWS: discuss contrib and nmbug

I mention the possibility of a seperate license here because currently
notmuch-deliver is licensed GPL v2 only.

debian/libnotmuch2.symbols: add notmuch_query_count_threads

Since this is only an added symbol, no soname bump required.

debian: new changelog stanza for 0.10~rc1-1

The changelog is a bit minimalist, but we'll do better for the real
release.

version: update to 0.10~rc1

and the usual dance with the python bindings version.

test: add tests for notmuch search --offset and --limit

Signed-off-by: Jani Nikula <jani@nikula.org>

test: add tests for notmuch count

Signed-off-by: Jani Nikula <jani@nikula.org>

cli: add support for --output parameter in notmuch count

Add support for --output=messages (which remains the default) and
--output=threads to notmuch count.

Signed-off-by: Jani Nikula <jani@nikula.org>

cli: drop unused code from notmuch count

Remove unused code within #if 0 blocks from notmuch count.

Signed-off-by: Jani Nikula <jani@nikula.org>

cli: add options --offset and --limit to notmuch search

Add options --offset=[-]N and --limit=M to notmuch search to determine the
first result and maximum number of results to display.

Option --limit=M limits the maximum number of results to display to M.

Option --offset=[-]N skips the first N results; with the leading '-' skip
until the Nth result from the end.

Note that --offset with a negative N for thread or summary output requires
counting the number of matching threads in advance.

Signed-off-by: Jani Nikula <jani@nikula.org>

lib: add function to get the number of threads matching a search

Add function notmuch_query_count_threads() to get the number of threads
matching a search. This is done by performing a search and figuring out the
number of unique thread IDs in the matching messages, a significantly
heavier operation than notmuch_query_count_messages().

Signed-off-by: Jani Nikula <jani@nikula.org>

test: Add a test script for "notmuch tag"

news: Store "from" and "subject" headers in the database.

Store "from" and "subject" headers in the database.

This is a rebase and cleanup of Istvan Marko's patch from
id:m3pqnj2j7a.fsf@zsu.kismala.com

Search retrieves these headers for every message in the search
results.  Previously, this required opening and parsing every message
file.  Storing them directly in the database significantly reduces IO
and computation, speeding up search by between 50% and 10X.

Taking full advantage of this requires a database rebuild, but it will
fall back to the old behavior for messages that do not have headers
stored in the database.

test/atomicity: change shebang to '#!/usr/bin/env bash'

emacs: add notmuch-show-worker function for specifying crypto processing directly

The main reason to introduce this new unexposed function is to allow
the buffer redisplay crypto switch to behaving in a more expected way.
The prefix to notmuch-show-redisplay buffer now switches the crypto
processing of the current show buffer, as opposed to switching the
logic of the notmuch-crypto-process-mime customization variable.  This
behavior is more intuitive.

emacs: add documentation for notmuch-show crypto-switch option

Link libutil using filenmae, rather than using -l.

glibc includes a libutil, so if the wrong -L options get passed, we
will pick up glibc's version, rather than our own.

test: make smtp-dummy work with Emacs 24

In Emacs 24, a space is expected after a SMTP response code. If we don't respect
that, smtpmail-send-it will wait forever.

test: do not hide test_emacs errors

Do not redirect test_emacs stderr to /dev/null.  Test_emacs uses
emacsclient(1) now and it does not print unwanted messages (like
those from `message') to stderr.  But it does print useful
errors, e.g. when emacs server connection fails, given expression
is not valid or undefined function is called.

exec emacs at the end of run_emacs script

In the last line of run_emacs, exec the emacs process.
With one fork less the process list is (also) neater.

contrib/nmbug: new script for sharing tags with a given prefix.

The main idea is consider the notmuch database as analogous to the
work-tree. A bare git repo is maintained in the users home directory,
with a tree of the form tags/$message-id/$tag

Like notmuch and git, we have a set of subcommnds, mainly modelled on
git.

Implementation wise, the heavy lifting is in the following functions.

   commit xapian -> git
   checkout git -> xapian
   merge fetched git + git -> xapian
   status find differences between xapian, git, and remote git.

The central implementation trick, from an idea I think due to
tomprince on IRC is manipulate the git index directly from the xapian
tag information.  The merge routine is still done using a temporary
checkout as I wasn't able to get it working with the index only.

There are also some convenience wrappers around git commands, like "fetch"
that essential just set GIT_DIR in the environment.

In order to encode tags (viewed as octet sequences) into filenames,
we whitelist a smallish set of characters and %hex escape anything outside.

The prefix is omitted in git, which lets one save and restore to
different prefixes (although this is only lightly tested).

Thanks to Tomi Ollila for a huge amount of feedback and patches while
putting this together.

emacs: update notmuch-crypto-process-mime config variable documentation.

This mentions the fact that prefix arguments are now used to enable to
crypto switch.

emacs: Unbind M-RET as display of thread with crypto switch.

Use prefix argument instead to set switch.

test: stashing in notmuch-{show,search}

Should provide full test coverage of the stashing feature.

Signed-off-by: Pieter Praet <pieter@praet.org>

emacs: add keybind and function to stash Message-ID without prefix

Add function `notmuch-show-stash-message-id-stripped'
which stashes a Message-ID after ripping off the prefix and quotes,
add bind it to "I" key in `notmuch-show-stash-map'.

Simplifying `notmuch-show-get-message-id' instead might seem better,
but that would require concat'ing in 9 places instead of 1.

Signed-off-by: Pieter Praet <pieter@praet.org>

NEWS: mention dtach instead of screen in the description of testing changes

This brings NEWS back in line with the actual code.

emacs: add invisible space after the search widget field in notmuch-hello

It is very convenient when C-e (bound to `widget-end-of-line') ignores
trailing spaces inside the search widget.  But it only does so if a
widget is not followed by a newline (that is why it works in the saved
search widgets).  The patch just adds an invisible space after the
search widget to get the desirable behavior of `widget-end-of-line'.
The extra space is also added to expected results of emacs tests.

emacs: Use a single buffer invisibility spec to fix quadratic search cost.

Buffer redisplay requires traversing the buffer's invisibility spec
for every part of the display that has an 'invisible text or overlay
property.  Previously, the search buffer's invisibility spec list
contained roughly one entry for each search result.  As a result,
redisplay took O(NM) time where N is the number of visible lines and M
is the total number of results.  On a slow computer, this is enough to
make even buffer motion noticeably slow.  Worse, during a search
operation, redisplay is triggered for each search result (even if
there are no visible buffer changes), so search was quadratic
(O(NM^2)) in the number of search results.

This change switches to using a single element buffer invisibility
spec.  To un-hide authors, instead of removing an entry from the
invisibility spec, it simply removes the invisibility overlay from
those authors.

I tested using a query with 6633 results on a 9 year old machine.
Before this patch, Emacs took 70 seconds to fill the search buffer;
toward the end of the search, Emacs consumed 10-20x as much CPU as
notmuch; and moving point in the buffer took about a second.  With
this patch, the same query takes 40 seconds, Emacs consumes ~3x the
CPU of notmuch by the end, and there's no noticeable lag to moving
point.  (There's still some source of non-linearity, because Emacs and
notmuch consume roughly the same amount of CPU early in the search.)

smtp-dummy: clear sockaddr_in structure before use in bind()

Any junk bytes in sockaddr_in structure before passing that
to bind() system call may cause problems.

debian: update build dependency on dtach instead of screen

This reflects a modification to the test suite to use dtach instead of
screen.

debian: clean up Uploaders and Build-Depends fields in debian/control

No functional change, but this will make for cleaner diffs down the
line.

test: use dtach(1) instead of screen(1) in emacs tests

dtach is simpler than screen and is not setuid/setgid program so
TMPDIR does not get cleared by dynamic loader when executed

Do not query on notmuch-search exit

Emacs 23.2 queries by default about killing existing processes. This
is annoying when one wants to interrupt long search with 'q' key.
Disable this behavior for notmuch.

emacs: remove unused `point-invisible-p' function

`point-invisible-p' does not work correctly when `invisible'
property is a list.  There are standard `invisible-p' and related
functions that should be used instead.

emacs: remove no longer used functions from notmuch-show.el

Remove `notmuch-show-move-past-invisible-backward' and
`notmuch-show-move-past-invisible-forward' functions which are
unused.

emacs: improve hidden signatures handling in notmuch-show-advance-and-archive

Use `previous-single-char-property-change' instead of going
through each character by hand and testing it's visibility.  This
fixes `notmuch-show-advance-and-archive' to work for the last
message in thread with hidden signature.

test: `notmuch-show-advance-and-archive' with invisible signature

Add Emacs test to check that `notmuch-show-advance-and-archive'
works for the last message in thread with invisible signature.

NEWS: tentative news item about requiring screen to run the test suite.

Hopefully this will be fixed before release, but for the moment,
explain to people why their test suite might not be working like it
used to.

debian: build-depend on screen.

This is needed for emacs tests, now that those are run in screen.

test: do not set frame width in emacs

No need for `set-frame-width' in emacs tests since it runs in
screen now.

test: avoid using screen(1) configuration files

Set SCREENRC and SYSSCREENRC environment variables to "/dev/null"
as suggested by Jim Paris to avoid potential problems with
screen(1) configuration files.

test: run emacs inside screen

Before the change, emacs run in daemon mode without any visible
buffers.  Turns out that this affects emacs behavior in some
cases.  In particular, `window-end' function returns `point-max'
instead of the last visible position.  That makes it hard or
impossible to implement some tests.  The patch runs emacs in a
detached screen(1) session.  So that it works exactly as if it
has a visible window.

Note: screen terminates when emacs exits.  So the patch does not
introduce new "running processes left behind" issues.

test: json show format of message with inline attachment with filename

The patch adds a test to check that json show format includes
filenames for attachments with inline disposition.

notmuch-deliver: update gitignore

notmuch-deliver: Don't read errno inappropriately.

Signed-off-by: Thomas Schwinge <thomas@schwinge.name>

notmuch-deliver: Won't deliver to more than one folder.

Signed-off-by: Thomas Schwinge <thomas@schwinge.name>

notmuch-deliver: Advance imported files to maildrop-2.5.2 release.

notmuch-deliver: Import said files from maildrop-2.2.0 release.

We won't use all of the included build infrastructure files, but adding them
nevertheless helps to track changes that are applied to them upstream.

Signed-off-by: Thomas Schwinge <thomas@schwinge.name>

Move files copied from maildrop to a separate hierarchy.

Signed-off-by: Thomas Schwinge <thomas@schwinge.name>

Make it build in a separate build directory.

Signed-off-by: Thomas Schwinge <thomas@schwinge.name>

notmuch-deliver: Add mailmap

notmuch-deliver: Fix utter failure

notmuch-deliver: Use splice() if it's available

NOTMUCH_DELIVER_NO_SPLICE environment variable may be set to fallback to
the read/write method.

notmuch-deliver: Add --enable-{gprof,gcov} options to configure

More debug messages

notmuch-deliver: Fix typos in option context description

notmuch-deliver: Fix copy/paste fail

notmuch-deliver: Initial import

emacs: Tab completion for notmuch-search and notmuch-search-filter

This patch adds completion with <tab> in the minibuffer for
notmuch-search and notmuch-search-filter.

lib/database.cc: use flush Xapian method instead of commit

Apparently the method was renamed in Xapian 1.1.0 but the old method
name will stay around for a while. It seems better to stick with the
old name to make notmuch compile with older versions of Xapian, at
least for now.

remove GCC visibility pragmas

libnotmuch.so.* linking fail on some environments. According to
David Bremner on irc:
 "We jump through hoops with the linker script (notmuch.sym) so
 the pragmas are not needed. And they are a little bizarre in a
 library anyway..."

xregcomp: don't consider every regex compilation failure an internal error.

This pushes the error handling up one step, but makes the function
more flexible. Running out of memory still triggers an internal error,
in the spirit of other xutils functions.

xutil.c: remove duplicate copies, create new library libutil.a to contain xutil.

We keep the lib/xutil.c version. As a consequence, also factor out
_internal_error and associated macros.  It might be overkill to make a
new file error_util.c for this, but _internal_error does not really
belong in database.cc.

build system: target to make a Debian snapshot package.

Currently this builds a native package, but since the source package
is throw away, it should not matter too much, except for the extra
warnings from lintian.

The extra +1 is so that if $(VERSION) is the same as the last released
version (for example outside a git repo) then the versions still order
correctly.

build system: remove dashes from git-describe generated version.

This makes it less confusing with released Debian versions, now that we have
non-native Debian versions.

emacs: Turn id:"<message-id>" elements into buttons for notmuch searches

This fixes the minor annoyance that message ids were parsed as mail
addresses by goto-address-mode in notmuch-show buffers.

Separate Emacs misc. files dir. from Emacs code dir.

New option --emacsetcdir was added, but it's set default to the same
value as --emacslispdir for backward compatibility.

Prefix lib/notmuch.h and lib/gen-version-script.sh with $(srcdir)

lib/notmuch.h and lib/gen-version-script.sh couldn't have been found
when building out of sources directory.

docs: Update news, man page, and online help for restore --accumulate

As a side effect, reformat the NEWs entry for notmuch dump for
consistency with the notmuch restore NEWS submitted by Thomas
Schwinge.

notmuch-restore: check for extra arguments.

We consider it an error to pass more than one file to restore, since
extra ones are ignored.

notmuch-restore: implement --accumulate option

Modify command line argument handling to take a --accumulate flag.
Test for extra arguments beyond the input file.

The --accumulate switch causes the union of the existing and new tags to be
applied, instead of replacing each message's tags as they are read in from the
dump file.

Based on a patch by Thomas Schwinge:

      id:"1317317857-29636-1-git-send-email-thomas@schwinge.name"

test/dump-restore: add tests for restore --accumulate

Flesh out what ``notmuch restore --accumulate'' is supposed to do.
Its tests are currently XFAILed; the functionality will be added in
future patch(es).

Based on a patch by Thomas Schwinge:

      id:"1317317811-29540-1-git-send-email-thomas@schwinge.name"

notmuch.1: typo fixes new wording for dump/restore

These changes were included in Thomas's restore --accumulate patch,
but are actually more generally applicable.

test/dump-restore: Fix quoting on grep

Thanks to Thomas Schwinge for noticing yet another place where quoting
matters. Since the shell translates \. to ., the regex passed to grep
is too generous without the quotes.

The use of [.] is the suggestion of Tomi Ollila.

test/dump-restore: expand test suite for dump-restore, make more robust

Several new tests are added, and existing use of test_begin_subtest is
replaced by test_expect_success to catch failing commands in cases where
we execute more than one command.

Based on changes in

      id:"1317317811-29540-1-git-send-email-thomas@schwinge.name"

test/test-lib.sh: update comments

- explain test_expect_equal_file
- remove mention of test_expect_failure, since that function was removed.

Based on id:"1317317811-29540-1-git-send-email-thomas@schwinge.name"

cli: change argument parsing convention for subcommands

previously we deleted the subcommand name from argv before passing to
the subcommand. In this version, the deletion is done in the actual
subcommands. Although this causes some duplication of code, it allows
us to be more flexible about how we parse command line arguments in
the subcommand, including possibly using off-the-shelf routines like
getopt_long that expect the name of the command in argv[0].

docs: Update man page, NEWS and online help for new dump arguments.

We mention in all three places that using the filename argument is
deprecated.

notmuch-dump: deprecate use of output file argument.

We print an intentionally non-specific message on stderr, since it
isn't clear if there will be some global output file argument to
replace.

We update the test suite atomically, since it relies on having the
same text in two files.

notmuch-dump: treat any remaining arguments after the filename as search terms

The main motivation here is allow the fast dumping of tag data for
messages having certain tags.  In practice it seems too slow to pipe
dump to grep.

All dump-restore tests should be working now, so we update test/dump-restore
accordingly

notmuch-dump: update handling of file name argument

We permit -- as an "option processing terminator".

Currently this does not do anything useful, but we plan to add
search terms after the --.

test: add tests for command line arguments to notmuch-dump

The plan is to add the possibility of search terms after the file name,
and the use of -- to stop looking for an output file name.

test: update dump-restore to use redirection instead of filename args

The idea here is that we want to deprecate the use of arguments to
dump and restore to specify paths, since in particular we want to use
the non-option arguments to dump to form a query.

debian: changelog stanza for 0.9

Admit that there have been no changes since the last release
candidate.

version: bump to 0.9

also bump python bindings version.

NEWS: document API changes to n_d_find_message{,_by_filename}

For details the user will have to refer to the source.  Reformat Ruby
news consistently with Python.

NEWS: document API changes to n_d_find_message{,_by_filename}

For details the user will have to refer to the source.

test: add two emacs tests for show mode refresh

The first test tests that the notmuch-show-refresh-view function
produces the exact same output for an unmodified show buffer.  This
test should pass since the relevant functionality has already been
applied.

The second test tests show refresh for a show buffer that has been
modified by navigation and message visibility toggling.  Ideally
refresh-view should preserve this state of the notmuch-show buffer.
Unfortunately it currently does not, so this test is know to be broken
and is marked as such.

NEWS: add notes about emacs improvements and reply formating cleanup

version: bump to 0.9~rc2

We continue to keep the python bindings version in sync manually

debian: update changelog for 0.9~rc2-1

Document upstream changes since 0.9~rc1-1

emacs: add notmuch-show-refresh-view function

This function, like the equivalent for notmuch-search, just refreshes
the current show view.  Like in notmuch-search, this new function is
bound to "=".  If a prefix is given then the redisplay happens with the
crypto-switch set, which displays the thread with the opposite logic
of whatever is set in the notmuch-crypto-process-mime customization
variable.

emacs: Add callback functions to crypto sigstatus button.

This adds two callback functions to the sigstatus button.  If the sig
status is "good", then clicking the button displays the output of "gpg
--list-keys" on the key fingerprint.  If the sigstatus is "bad", then
clicking the button will retrieve the key from the keyserver, and
redisplay the current buffer.

Thanks to David Bremner <bremner@unb.ca> for help with this.