notmuch: unref charset_filter to fix one memory leak

In my test case added g_object_unref(charset_filter) reduces memory
consumption over 90% when 'notmuch show --format=text "*"' is
executed (~11000 messages, RES ~330M -> ~25M).

emacs: support "notmuch new" as a notmuch-poll-script

Support nil value for notmuch-poll-script to run "notmuch new" instead of
an external script, and make this the new default. "notmuch new" is run
using the configured notmuch-command.

This allows taking better advantage of the "notmuch new" hooks from emacs
without intermediate scripts.

Signed-off-by: Jani Nikula <jani@nikula.org>

debian: add upstream-tag and fix debian-tag configs for git-buildpackage

Debian tags have been using '/', instead of '-' as a separator.

command-line-arguments.[ch]: make arrays of keyword descriptors const

It seems like it should never be necessary to modify these arrays after
initialization.

test: add arg-test to .gitignore

This should have been done when the binary was added, oops.

build-system: clean $(libutil_modules) rather than listing them individually.

This matches the way the other 'Makefile.local's work.

cli: factor out config handling code to get/set lists.

Two new internal routines are created _config_get_list and
_config_set_list; the notmuch_config_get_* functions that deal with
lists are simply wrappers for these functions.

test: add tests for hooks

Signed-off-by: Jani Nikula <jani@nikula.org>

cli: add support for pre and post notmuch new hooks

Run notmuch new pre and post hooks, named "pre-new" and "post-new", if
present in the notmuch hooks directory. The hooks will be run before and
after incorporating new messages to the database.

Typical use cases for pre-new and post-new hooks are fetching or delivering
new mail to the maildir, and custom tagging of the mail incorporated to the
database.

Also add command line option --no-hooks to notmuch new to bypass the hooks.

Signed-off-by: Jani Nikula <jani@nikula.org>

cli: introduce the concept of user defined hooks

Add mechanism for running user defined hooks. Hooks are executables or
symlinks to executables stored under the new notmuch hooks directory,
<database-path>/.notmuch/hooks.

No hooks are introduced here, but adding support for a hook is now a simple
matter of calling the new notmuch_run_hook() function at an appropriate
location with the hook name.

Signed-off-by: Jani Nikula <jani@nikula.org>

test: use python2 instead of python if available

Some distros (Arch Linux) ship Python as python2 and Python 3 as python.
Checking for python2 is necessary for the Python tests to work on these
platforms.

test: add a function to run Python tests

The new test_python() function makes writing Python tests a little easier:
- it sets the environment variables as needed
- it redirects stdout to the OUTPUT file (like test_emacs()).

This commit also declares python as an external prereq.

The stdout redirection is required to avoid trouble when running commands like
"python 'script' | sort > OUTPUT": in such a case, any error due to a missing
external prereq would be "swallowed" by sort, resulting to a failed test instead
of a skipped one.

Release memory allocated by internet_address_list_parse_string()

g_object_unref() releases the memory of the InternetAddressList object
returned by internet_address_list_parse_string() -- when last (only)
reference is released, internet_address_list_finalize() will do cleanup.

test: cleanup gdb external dependency in atomicity tests

Change atomicity tests to use the new external binary dependencies.
This simplifies the code and makes output consistent.

notmuch-search: convert to command-line-arguments

The switch on format_sel is slightly clunky, but it doesn't seem worth
special casing argument processing for function pointers, when I think
the function pointer approach will be modified/abandoned.

notmuch-restore: convert to command-line-arguments

The new argument handling is a bit more concise, and bit more
flexible.  It allows the input file name to go before the --accumulate
option.

notmuch-dump: convert to command-line-arguments

The output file is handled via positional arguments. There are
currently no "normal" options.

test: tests for command-line-arguments.c

This was needed because no current notmuch code exercises the
NOTMUCH_OPT_STRING style arguments.

command-line-arguments.[ch]: new argument parsing framework for notmuch.

As we noticed when Jani kindly converted things to getopt_long, much
of the work in argument parsing in notmuch is due to the the key-value
style arguments like --format=(raw|json|text).

The framework here provides positional arguments, simple switches,
and --key=value style arguments that can take a value being an integer,
a string, or one of a set of keywords.

json: date_relative for threads

include the date_relative field in the
json formated output of notmuch search

test: date_relative in notmuch search json output

expect the date_relative field for thread entries
in notmuch search's json output

note from Commiter: we don't have to worry about the date changing
because the date in question is more than 180 days old.

emacs: do not call notmuch show for non-inlinable parts

Before the change, there was a workaround to avoid notmuch show calls
for parts with application/* Content-Type.  But non-inlinable parts
are not limited to this Content-Type (e.g. mp3 files have audio/mpeg
Content-Type and are not inlinable).  For such parts
`notmuch-show-insert-part-*/*' handler is called which unconditionally
fetches contents for all parts.

The patch moves content fetching from `notmuch-show-insert-part-*/*'
to `notmuch-show-mm-display-part-inline' function after MIME inlinable
checks are done to avoid useless notmuch show calls.  The
application/* hack is no longer needed and removed.

test: check that Emacs UI does not call notmuch for non-inlinable parts

The patch adds two new test cases:

* Do not call notmuch for non-inlinable application/mpeg parts
* Do not call notmuch for non-inlinable audio/mpeg parts

The application/mpeg test passes thanks to a workaround for
application/* Content-Types.  The audio/mpeg is currently broken.

test: add functions to count how much times notmuch was called

The patch adds two auxiliary functions and a variable:

  notmuch_counter_reset
  $notmuch_counter_command
  notmuch_counter_value

They allow to count how many times notmuch binary is called.
notmuch_counter_reset() function generates a script that counts how
many times it is called and resets the counter to zero.  The function
sets $notmuch_counter_command variable to the path to the generated
script that should be called instead of notmuch to do the counting.
The notmuch_counter_value() function returns the current counter
value.

emacs: remove unused variable in `notmuch-show-insert-part-message/rfc822'

An obvious cleanup.  I wonder why there was no warning about this
during compilation.

emacs: remove some code duplication in notmuch-show

Add optional props argument to `notmuch-show-get-header'.  Use it to
get headers in `notmuch-show-insert-part-multipart/signed' and
`notmuch-show-insert-part-multipart/encrypted'.

test/symbol-hiding: compare exported symbols with existing one

We assume that any symbol starting with notmuch_ in lib/*.o should be
exported, and that only those symbols should be exported.

test/symbol-hiding: add some whitespace between tests

This is in preparation for adding a third test to this file

Merge branch 'release'

Conflicts:
NEWS

Conflicts resolved by inserting the 0.10.2 stanza before 0.11

fix format string in Message.__unicode__

Since 2b0116119160f2dc83, Message.__str__ doesn't
construct a hash containing the thread data before
constructing the formatstring. This changes the formatstring
to accept positional parameters instead of a hash.

contrib/.gitattributes: remove

Now that licensing of notmuch-deliver has been harmonized with
notmuch, there is no reason not to export it.

notmuch-deliver: GPL-3+

notmuch-deliver: Import from maildrop-2.5.5

maildrop-2.5.5 is GPL-3.
No change in functionality, just a precaution before relicensing.

make release: remove LATEST-$(PACKAGE)-*

The tar file of particular package (notmuch in this case) is named
as $(PACKAGE)-$(VERSION).tar.gz. Therefore the best way to remove
previous link to LATEST is to remove all files beginning with
LATEST-$(PACKAGE)- and not relying how $(VERSION) string is constructed.

have LATEST-notmuch-<version>.tar.gz on releases web page

The notmuchmail/releases page used to have LATEST-notmuch-<version>
to link to the latest notmuch source tarball. This is confusing on
web page and on disk when the file has been downloaded. This change
looks a bit inconsistent with the 'rm' command just executed before.
$(TAR_FILE) is defined (currently) as $(PACKAGE)-$(VERSION).tar.gz;
as long as the prefix stays $(PACKAGE)-$(VERSION) and version begins
with a digit then this line is good in execution point of view.

test: add test-binaries target

The goal here is to have a simple way of making sure all of the
binaries needed to run tests are available.

python: Remove stray debug comment

This slipped in wrongly in commit 71e0082eff (due to my fault).

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

python: use wrapped notmuch_*_t types instead of raw pointers

Now that types are checked correctly, we also need to make sure that all the
arguments actually are instances of these types. Otherwise the function calls
will fail and raise an exception similar to this one:
   ctypes.ArgumentError: argument 3: <type 'exceptions.TypeError'>: expected
   LP_LP_NotmuchMessageS instance instead of pointer to c_void_p

errors='ignore' when decode to unicode

use __unicode__ for string representation

clean up Thread.__str__

python: Return a STATUS value in tags_to_flags and flags_to_tags

We were not returning anything at all, which does not match the API
documentation. Fixed. Thanks to Patrick Totzke for the heads up.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

remove unused imports

fix sphinx compile-time warnings

no changes to the code, only makes compiling the docs smoother
as some rsT syntax errors were fixed

pep8 fixes

no changes to the code, only fixed stuff denounced by `pep8 *py`

test/python: set LD_LIBRARY_PATH and PYTHONPATH to use local notmuch

Possibly this should be factored out into some kind of "run_python"
function.

build system: allow decreasing debian versions for debian-snapshot

This allows the debian-snapshot to continue working between when
debian/changelog is updated and when the release is tagged.

NEWS: add news for 0.10.2

fixup for changelog

debian/changelog: add new changelog stanza for 0.10.2

version: bump for bugfix release 0.10.2

test: add tests for python bindings

We start modestly, with a (slightly modified) test case from Kazuo
Teramoto. Originally it just made sure the bindings didn't crash; here
we check that by comparing the output with that of notmuch search.

lib: call g_type_init from notmuch_database_open

We want to make sure g_type_init is called before any GObject
functionality is used.

notmuch-dump.c: whitespace cleanup

python: annotate all calls into libnotmuch with types

Add type information to the ctypes._FuncPtr wrappers and
use the wrapper classes instead of c_void_p for pointers
to notmuch_*_t.

This enables the ctypes library to type check parameters
being handed to functions from the notmuch library.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: add classes to wrap all notmuch_*_t types

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

test: fix error messages for missing binary dependencies

The fake missing binary functions check if the binary has already be
added to the diagnostic message to avoid duplicates.  Unfortunately,
this check was buggy because the message string does not have the
trailing space.

test: fix spurious output from missing external binaries functions

The grep(1) command used in the fake binary functions was missing the
quiet option.

test: add missing escape backslash in test_declare_external_prereq()

test: fix test_require_external_prereq()

test_missing_external_prereq_${binary}_ variable indicates that the
binary is missing.  It must be set in test_declare_external_prereq()
outside of the fake $binary() function.

emacs: Use notmuch-command variable in process-lines.

The process-lines function calls the notmuch binary.  The location of
the binary may have been customized by the user, so it is better to
use the customized location rather than allowing the process-lines
function to search the user's PATH for the binary.

dump: Don't sort the output by message id.

Asking xapian to sort the messages for us causes suboptimal IO patterns. This
would be useful, if we only wanted the first few results, but since we want
everything anyway, this is pessimization.

On 2011-10-29, a measurement on a 372981 messages instance showed that wall
time can be reduced from 28 minutes (sorted by Message-ID) to 15 minutes
(unsorted).

Timings on 189605 messages:

$ time notmuch.old dump
19.48user 5.83system 12:10.42elapsed 3%CPU (0avgtext+0avgdata 110656maxresident)k
3629584inputs+22720outputs (33major+7073minor)pagefaults 0swaps
$ echo 3 > /proc/sys/vm/drop_caches
$ time notmuch.new
14.89user 1.20system 3:23.58elapsed 7%CPU (0avgtext+0avgdata 46032maxresident)k
1256264inputs+22464outputs (43major+1990minor)pagefaults 0swaps

tag: Automatically limit to messages whose tags will actually change.

This optimizes the user's tagging query to exclude messages that won't
be affected by the tagging operation, saving computation and IO for
redundant tagging operations.

For example,
  notmuch tag +notmuch to:notmuch@notmuchmail.org
will now use the query
  ( to:notmuch@notmuchmail.org ) and (not tag:"notmuch")

In the past, we've often suggested that people do this exact
transformation by hand for slow tagging operations.  This makes that
unnecessary.

test: fix "Stashing in notmuch-search" test when emacs is not available

If emacs is not available, test_expect_equal would be called with only
one argument.  The patch fixes this by quoting the (possibly empty)
$(cat OUTPUT) argument.

test: check if emacs is available in the beginning of test_emacs

Unfortunately, this is needed to avoid the emacs waiting loop.

test: add function to explicitly check for external dependencies

Useful when binary is called indirectly (e.g. from emacs).

test: declare external dependencies for the tests

That are: dtach(1), emacs(1), emacsclient(1), gdb(1) and gpg(1).

test: skip all subtests if external dependencies are missing during init

Some tests (e.g. crypto) do a common initialization required for all
subtests.  The patch adds a check for missing external dependencies
during this initialization.  If any prerequisites are missing, all
subtests are skipped.

The check is run on the first call of test_reset_state_ function, so
no changes for the tests are needed.

test: fix "skipping test" verbose output

test: add support for external executable dependencies

There is existing support for general prerequisites in the test suite.
But it is not very convenient to use: every test case has to keep
track for it's dependencies and they have to be explicitly listed.

The patch aims to add better support for a particular type of external
dependencies: external executables.  The main idea is to replace
missing external binaries with shell functions that have the same
name.  These functions always fail and keep track of missing
dependencies for a subtest.  The result reporting functions later can
check that an external binaries are missing and correctly report SKIP
result instead of FAIL.  The primary benefit is that the test cases do
not need to declare their dependencies or be changed in any way.

test: add test state reset to test_expect_* functions that did not have it

test: set EMACS_SERVER variable only after dtach(1) was successfully started

Otherwise, we can set the EMACS_SERVER and return with an error.  And
subsequent calls to test_emacs would assume that emacs server is running.

test: move subtest variables reset into a dedicated function

Currently, there is only one such variable test_subtest_known_broken_.
But more will be added in the future.

Build symbol-test with make instead of hardcoding in symbol-hiding.

If symbol-test is built in symbol-hiding with hardcoded g++ invokation,
it's not so easy to pass $(srcdir) which is required to find notmuch.h
when srcdir and builddir are separate directories.

Merge branch 'release'

build system: clean up object files in ./test and ./util

Whitespaces cleanup.

Fix warnings for test/symbol-test.cc.

test: cleanup basic tests

Basic test 'Ensure that all available tests will be run by
notmuch-test' compares all tests that are run with listing of test/
directory.  There is a growing list of exceptions for files and
directories which located in the test/ directory but are not tests.
Moreover some (probably buggy) tests do create files in the the test/
directory which may be left behind in case of failure.  This makes the
basic test fail.

The patch changes the test to look only for regular executable files.
This makes the exception list much smaller.  And since no tests should
create executables in the test/ directory (if there are, they should
be fixed), the basic test should not be affected by failed or
interrupted tests.

test: fix sed error in basic tests

The error is easy to miss, because the test passes and stderr is not
printed.  But if you run basic tests in verbose mode (./basic
--verbose), you get:

  sed: can't read notmuch-test: No such file or directory

The issue is that sed command is given two files: notmuch-test and
$TEST_DIRECTORY/notmuch-test.  And there is no notmuch-test file in
the current directory (test/tmp.basic/).  The patch just removes the
non-existing file from the sed command.

test: remove executable permissions from test-lib.sh

It is not supposed to be run, only sourced.

emacs: test notmuch show with fourfold message indentation

Previous behaviour was to indent messages in a thread according
to depth by one space per level.  This commit tests if setting
notmuch-indent-messages-width to `4' provides a message thread
with four spaces of indentation thread depth.

emacs: test: notmuch show without indentation

Previous behaviour was to indent messages in a thread according
to depth by one space per level.  In
id:1311028119-50637-1-git-send-email-fgeller@gmail.com Felix
Geller proposed a patch in order to turn indentation off.  This
commit tests if instead setting notmuch-indent-messages-width to
`0' does turn off indentation.

emacs: test notmuch-indent-messages-width default

Previous behaviour was to indent messages in a thread according
to depth by one space per level.  This is still the case with
notmuch-indent-messages-width default value `1'.  This test
succeeds if output with default value is same as in "Basic
notmuch-show view in emacs".

emacs: make message indentation width customisable

Till now Emacs UI indents messages according to their respecive
depth of neting in the thread.  The actual width of indentation
per level is hardcoded to `1' space.
This patch makes message indentation customisable by introducing
a variable `notmuch-indent-messages-width' which defaults to `1',
which is the same as before.  Felix could set this variable to
`0' in order to disable indentation, I tested it with a value of
`4' for a clearer separation of messages in a thread.

test: add simple tests for online help

Nothing fancy, but we can at least detect segmentation faults.

NEWS: add NEWS stanza for 0.10.1

Explain the bug fix in slightly less technical language than in the
Debian changelog.

debian: changelog stanza for 0.10.1

version: update to 0.10.1

CLI: update call to notmuch_help_command for new calling conventions.

When I changed the calling convention to pass in all but the zero-th
argument to subcommands, I missed this one call, resulting in a
segmentation fault.

As a bonus, the syntax "notmuch --help foo" is now equivalent to
"notmuch help foo".

make release: use sed to check debian version

Use common sed tool instead of dpkg-parsechangelog (which is usually
available on debian systems only) to verify that debian version
information is consistent with version file.

make release: added goal verify-version-manpage

Check that the version mentioned in notmuch manual page
is consistent with the version file.

make release: verify-version-*: change comparison logic

verfy-version-debian, verify-version-python and verify-version-components
checked noneqality of the comparison strings and if got "positive"
answer then made that goal fail. But in case of the test ([ ])
execution failed it never got to the 'then' part of the line (and
the 'if [ ... ] then ... fi ' construct doesn't make the script line
fail in case of problems inside [ ].
This commit inverses the "logic", so that only if the comparison for
equality succeeds the script line will exit with 0 and execution
can continue past the failure case to the next line (executed by another
shell) with '@echo done'

emacs: Avoid unnecessary markers.

This is just cleanup.  These markers are all immediately resolved to
points by Emacs, so using markers here is just unncessary overhead.

emacs: Don't record undo information for search or show buffers.

There's no reason to record undo information for read-only,
programmatically-constructed buffers.  The undo list just chews up
memory keeping track of our calls to insert.

debian/control: require dtach version >= 0.8 in Build-Depends

Since version 0.8 of dtach -n does no longer require controlling
tty to be present when executed. Currently controlling tty is not
always (if ever) present when tests are executed.

Merge branch 'release'

debian: changelog stanza for 0.10

Give a brief summary of (and pointer to) NEWS

NEWS: set (approximate) date for 0.10 release

It doesn't really matter if we are off by a day.

version: update to 0.10