emacs: quote MML tags in replies

Emacs message-mode uses certain text strings to indicate how to attach
files to outgoing mail.  If these are present in the text of an email,
and a user is tricked into replying to the message, the user’s files
could be exposed.

Edited-by: Pieter Praet <pieter@praet.org>: Rebased to release branch.

test: add tests for quoting of MML tags in replies

The test is broken at this time; the next commit will introduce a fix.

Edited-by: Pieter Praet <pieter@praet.org>:
  Rebased to release branch, moved expected output into the actual test,
  and fixed "Fcc:" line.

Add a NEWS section for 0.11.1 and document the python error handling bugfix

python: fix error handling

Before 3434d1940 the return values of libnotmuch functions were
declared as c_void_p and the code checking for errors compared the
returned value to None, which is the ctypes equivalent of a NULL
pointer.

But said commit wrapped all the data types in python classes and the
semantic changed in a subtle way. If a function returns NULL, the
wrapped python value is falsish, but no longer equal to None.

Backported from master to 0.11.

NEWS: set release date.

It's Friday the thirteenth. What could possibly go wrong?

debian: changelog stanza for 0.11

Update version to 0.11

NEWS: add news entry for notmuch reply uninitialized variable bugfix

debian: add changelog stanza for 0.11~rc3-1

as usual for pre-releases, fairly minimal commentary.

version: update to 0.11~rc3

We found another serious-ish bug during freeze.

cli: fix use of uninitialized variable in "notmuch reply"

notmuch_show_params_t params is only initialized partially in
notmuch_reply_command(). The only field that is used uninitialized is
params.decrypt. It is usually non-zero, making "notmuch reply" on encrypted
messages work by coincidence.

Initialize params properly, and set params.decrypt as needed.

Signed-off-by: Jani Nikula <jani@nikula.org>

Update NEWS for Emacs changes

- A fair amount of conflict resolution by db.

NEWS: give a hint about using sort to achieve the old dump behavior.

This is needed for a few applications, and actually is quite
fast (relative to the actual dump).

NEWS: fix typos.

Thanks to Xavier for one of these.

update NEWS

This change looks slightly larger than it actually is, since I moved
the emacs section below the Performance and Memory Management
sections.

emacs: fix notmuch-show-indent-messages-width customization variable name

The name was originally notmuch-indent-messages-width, which is
inconsistent with our variable naming convention.

debian: changelog stanza for 0.11~rc2-1

Set dist=experimental the first time.

debian: fix typo in changelog

Previous version was actually uploaded to experimental, not unstable

version: bump to 0.11~rc2

This to "celebrate" pushing a bugfix in at the last minute.

lib: call g_mime_init() from notmuch_database_open()

As reported in
id:"CAEbOPGyuHnz4BPtDutnTPUHcP3eYcRCRkXhYoJR43RUMw671+g@mail.gmail.com"
sometimes gmime tries to access a NULL pointer, e.g. g_mime_iconv_open()
tries to access iconv_cache that is NULL if g_mime_init() is not called.
This causes notmuch to segfault when calling gmime functions.

Calling g_mime_init() initializes iconv_cache and others variables needed
by gmime, making sure they are initialized when notmuch calls gmime
functions.

Update NEWS for change by Aaron Ecay

- text moved around within NEWS into existing Emacs section by
  committer

NEWS: add item for notmuch-deliver

Ali mentioned he is very busy these days, so I just made something up
rather than waiting for a NEWS item from him.

NEWS: two memory leaks fixes for 0.11

NEWS: emacs: notmuch-poll-script and saved search news items

version: update version to 0.11~rc1

and keep python, man page, and debian package in sync.

emacs: fix docstring for `notmuch-search-line-faces'.

Examples in documentation for `notmuch-search-line-faces' had an extra
quote, e.g.:

  '(\"unread\" . '(:foreground \"green\"))

Which resulted in values like:

  (\"unread\" quote (:foreground \"green\"))

And tons of "Invalid face reference: quote" errors in the messages
buffer.

emacs: call notmuch-show instead of notmuch-search in buttonised id: links

Since message-ids necessarily match just a single message, there's no
reason to do a search for the id before viewing the actual message;
the search just becomes an extra screen to click through.  Clicking on
an id: links now just jumps straight to the message itself.

Fix comments about what is stored in the database

Commit 567bcbc2 introduced two new values for each message (content of the
"From" and "Subject" headers), but the comments about the database schema had
not been updated accordingly.

emacs: fix off-by-one bug in notmuch-show-archive

Text properties change between characters; prev-s-c-property-change
returns the position after the change.  Thus, it is still inside the
invisible region.

emacs: put the last search on top of recent searches in notmuch-hello

Notmuch-hello stores a list of recent searches.  Before the change, if
a search from this list is repeated, the recent search list is not
changed.  The patch makes repeated recent searches move to the head of
the list.  I.e. the last search is always on top of the recent search
list, which is what one would expect from a history list.

test: add test for `notmuch-hello-refresh-hook'

Test that `notmuch-hello-refresh-hook' is called once when
`notmuch-hello' is called and twice when calling
`notmuch-hello-update' after that.

The tests are very similar to tests for `notmuch-hello-mode-hook'.

test: add general Emacs hook counter

Replace `notmuch-hello-mode-hook-counter' with general `hook-counter'
and `add-hook-counter' functions to allow counting calls for any hook.

emacs: Change the default thousands separator to a space

This had been discussed and decided on IRC.

Rationale:
  Therefore the space is recommended in the SI/ISO 31-0 standard, and the
  International Bureau of Weights and Measures states that "for numbers with
  many digits the digits may be divided into groups of three by a thin space, in
  order to facilitate reading. Neither dots nor commas are inserted in the
  spaces between groups of three".

(http://en.wikipedia.org/wiki/Decimal_separator#Digit_grouping)

emacs: rename notmuch-decimal-separator to notmuch-hello-thousands-separator

In 123,456.78, "." is the decimal separator, but "," is the thousands separator.

emacs: Don't prompt the user to choose from zero matching addresses.

If the address matching function generates no matches, don't prompt
the user to choose between them (!). Instead, generate a message to
report that there were no matches.

emacs: Fix notmuch-mua-user-agent defcustom

The :options keyword is not meaningful for function type. Also, it was not
possible to enter nil value, contrary to the notmuch-mua-user-agent
defcustom documentation. Specify the alternatives using choice type, taking
nil into account.

Signed-off-by: Jani Nikula <jani@nikula.org>

emacs: Fix notmuch-hello-tag-list-make-query defcustom

It was not possible to define custom filters or filter functions because
the types were const. Remove const to allow editing.

Signed-off-by: Jani Nikula <jani@nikula.org>

emacs: add notmuch-hello-refresh-hook

This hook is called every time a notmuch-hello buffer is updated.

notmuch: Quiet buildbot warnings.

Cast away the result of various *write functions. Provide a default
value for some variables to avoid "use before set" warnings.

Don't quote lambda forms

This generates byte-compiler warnings on (at least) current trunk
versions of Emacs.  The quote is not necessary; lambda forms are
self-quoting.

emacs: Add `notmuch-jump-to-recent-buffer'.

From a Carl Worth idea: add a function which will select the most
recently used notmuch buffer (search, show or hello). If no recent
buffer is found, run `notmuch'.

It is expected that the user will global bind this command to a key
sequence.

emacs: do not call `notmuch-hello-mode' on update

`notmuch-hello' should call `notmuch-hello-mode' function only when
run for the first time.  But before the change, `notmuch-hello' used
`kill-all-local-variables' to remove editable widgets fields.  This
caused the major mode to be reset, and `notmuch-hello-mode' to be
called every time.

The patch manually deletes all editable widget fields and removes
`kill-all-local-variables' call.

test: add broken test for `notmuch-hello-mode-hook' called during update

Test that `notmuch-hello-mode-hook' is not called during
`notmuch-hello' buffer updates.  The test is currently broken.

test: add test for `notmuch-hello-mode-hook'

Test that `notmuch-hello-mode-hook' is called once when
`notmuch-hello' function is called.

test: add `notmuch-hello-mode-hook-counter'

Add `notmuch-hello-mode-hook-counter' hook to count how many times
`notmuch-hello-mode-hook' was called.  The counter function increments
`notmuch-hello-mode-hook-counter' variable value if it is bount,
otherwise it does nothing.

Add an argument to notmuch-mua-mail

From the emacs changelog:

  ** `compose-mail' now accepts an optional 8th arg, RETURN-ACTION, and
  passes it to the mail user agent function.  This argument specifies an
  action for returning to the caller after finishing with the mail.
  This is currently used by Rmail to delete a mail window.

Under Emacs 24, notmuch breaks when this argument is passed to it by a
function in another part of Emacs.  One example of a functon that does
this is report-emacs-bug -- so notmuch users cannot file emacs bug
reports!

This patch also adds a &rest argument to the arg-list of this function,
to future-proof against such changes.  This is adapted from the approach
taken by message-mail, a similar function built into emacs.

This patch was originally submitted by richardmurri@gmail.com on Aug. 1:
id:"877h6x6oor.fsf@veracitynetworks.com"

build-system: use a shell variable for TMPFILE in debian-snapshot

Aaron Ecay points out in
id:"1324136185-4509-1-git-send-email-aaronecay@gmail.com" that the
mktemp in

     debian-snapshot: TMPFILE := $(shell mktemp)

Is being evaluated for every target. As best I can tell, this is
because make is evaluating the right hand side, even though it is not
doing the assignment.

Of course, it isn't quite as nice to edit with the line continuations,
but it is ideomatic make.

test: optionally print subtest number

The idea is that $test_count could be used in tests to label
intermediate files. The output enabled by this patch (and --debug)
helps figure out which OUTPUT.nn file belongs to which test in case
several subtests write to OUTPUT.$test_count

Fix build with binutils-2.22

binutils-2.22 changes the behaviour of ld by defaulting to
--no-copy-dt-needed-entries, which means that required objects/libs are not
"indirectly" linked through intermediate objects/libs anymore. As a consequence,
when using binutils-2.22, building symbol-test fails with the following error:

    /usr/bin/ld: test/symbol-test.o: undefined reference to symbol
    'std::basic_string<char, std::char_traits<char>, std::allocator<char>
    >::~basic_string()@@GLIBCXX_3.4'

    /usr/bin/ld: note: 'std::basic_string<char, std::char_traits<char>,
    std::allocator<char> >::~basic_string()@@GLIBCXX_3.4' is defined in DSO
    /usr/lib/libstdc++.so.6 so try adding it to the linker command line

    /usr/lib/libstdc++.so.6: could not read symbols: Invalid operation

An easy fix is to link using CXX instead of CC.

Ignore dynamic libraries on OS X.

Parallel to ignoring .so for linux.

emacs: Add notmuch-hello-mode-hook

Functions called after entering `notmuch-hello-mode'

emacs: Document notmuch-show-get-message-properties

emacs: Add a face for crypto parts headers

Commit cb841878 introduced new parts handlers for crypto parts, but also
hardcoded values for their headers face. This replaces these hardcoded values
with a customizable face.

Revert "test: add emacs test for hiding a message following an HTML part"

This reverts commit c6a3a768fef9f59f483af04f4418d350efc27968.

This test is unreliable, showing BROKEN in some environments and FIXED
in others.  The confusion seems to outweigh the benefits, for now.

Conflicts:

test/emacs

notmuch: unref charset_filter to fix one memory leak

In my test case added g_object_unref(charset_filter) reduces memory
consumption over 90% when 'notmuch show --format=text "*"' is
executed (~11000 messages, RES ~330M -> ~25M).

emacs: support "notmuch new" as a notmuch-poll-script

Support nil value for notmuch-poll-script to run "notmuch new" instead of
an external script, and make this the new default. "notmuch new" is run
using the configured notmuch-command.

This allows taking better advantage of the "notmuch new" hooks from emacs
without intermediate scripts.

Signed-off-by: Jani Nikula <jani@nikula.org>

debian: add upstream-tag and fix debian-tag configs for git-buildpackage

Debian tags have been using '/', instead of '-' as a separator.

command-line-arguments.[ch]: make arrays of keyword descriptors const

It seems like it should never be necessary to modify these arrays after
initialization.

test: add arg-test to .gitignore

This should have been done when the binary was added, oops.

build-system: clean $(libutil_modules) rather than listing them individually.

This matches the way the other 'Makefile.local's work.

cli: factor out config handling code to get/set lists.

Two new internal routines are created _config_get_list and
_config_set_list; the notmuch_config_get_* functions that deal with
lists are simply wrappers for these functions.

test: add tests for hooks

Signed-off-by: Jani Nikula <jani@nikula.org>

cli: add support for pre and post notmuch new hooks

Run notmuch new pre and post hooks, named "pre-new" and "post-new", if
present in the notmuch hooks directory. The hooks will be run before and
after incorporating new messages to the database.

Typical use cases for pre-new and post-new hooks are fetching or delivering
new mail to the maildir, and custom tagging of the mail incorporated to the
database.

Also add command line option --no-hooks to notmuch new to bypass the hooks.

Signed-off-by: Jani Nikula <jani@nikula.org>

cli: introduce the concept of user defined hooks

Add mechanism for running user defined hooks. Hooks are executables or
symlinks to executables stored under the new notmuch hooks directory,
<database-path>/.notmuch/hooks.

No hooks are introduced here, but adding support for a hook is now a simple
matter of calling the new notmuch_run_hook() function at an appropriate
location with the hook name.

Signed-off-by: Jani Nikula <jani@nikula.org>

test: use python2 instead of python if available

Some distros (Arch Linux) ship Python as python2 and Python 3 as python.
Checking for python2 is necessary for the Python tests to work on these
platforms.

test: add a function to run Python tests

The new test_python() function makes writing Python tests a little easier:
- it sets the environment variables as needed
- it redirects stdout to the OUTPUT file (like test_emacs()).

This commit also declares python as an external prereq.

The stdout redirection is required to avoid trouble when running commands like
"python 'script' | sort > OUTPUT": in such a case, any error due to a missing
external prereq would be "swallowed" by sort, resulting to a failed test instead
of a skipped one.

Release memory allocated by internet_address_list_parse_string()

g_object_unref() releases the memory of the InternetAddressList object
returned by internet_address_list_parse_string() -- when last (only)
reference is released, internet_address_list_finalize() will do cleanup.

test: cleanup gdb external dependency in atomicity tests

Change atomicity tests to use the new external binary dependencies.
This simplifies the code and makes output consistent.

notmuch-search: convert to command-line-arguments

The switch on format_sel is slightly clunky, but it doesn't seem worth
special casing argument processing for function pointers, when I think
the function pointer approach will be modified/abandoned.

notmuch-restore: convert to command-line-arguments

The new argument handling is a bit more concise, and bit more
flexible.  It allows the input file name to go before the --accumulate
option.

notmuch-dump: convert to command-line-arguments

The output file is handled via positional arguments. There are
currently no "normal" options.

test: tests for command-line-arguments.c

This was needed because no current notmuch code exercises the
NOTMUCH_OPT_STRING style arguments.

command-line-arguments.[ch]: new argument parsing framework for notmuch.

As we noticed when Jani kindly converted things to getopt_long, much
of the work in argument parsing in notmuch is due to the the key-value
style arguments like --format=(raw|json|text).

The framework here provides positional arguments, simple switches,
and --key=value style arguments that can take a value being an integer,
a string, or one of a set of keywords.

json: date_relative for threads

include the date_relative field in the
json formated output of notmuch search

test: date_relative in notmuch search json output

expect the date_relative field for thread entries
in notmuch search's json output

note from Commiter: we don't have to worry about the date changing
because the date in question is more than 180 days old.

emacs: do not call notmuch show for non-inlinable parts

Before the change, there was a workaround to avoid notmuch show calls
for parts with application/* Content-Type.  But non-inlinable parts
are not limited to this Content-Type (e.g. mp3 files have audio/mpeg
Content-Type and are not inlinable).  For such parts
`notmuch-show-insert-part-*/*' handler is called which unconditionally
fetches contents for all parts.

The patch moves content fetching from `notmuch-show-insert-part-*/*'
to `notmuch-show-mm-display-part-inline' function after MIME inlinable
checks are done to avoid useless notmuch show calls.  The
application/* hack is no longer needed and removed.

test: check that Emacs UI does not call notmuch for non-inlinable parts

The patch adds two new test cases:

* Do not call notmuch for non-inlinable application/mpeg parts
* Do not call notmuch for non-inlinable audio/mpeg parts

The application/mpeg test passes thanks to a workaround for
application/* Content-Types.  The audio/mpeg is currently broken.

test: add functions to count how much times notmuch was called

The patch adds two auxiliary functions and a variable:

  notmuch_counter_reset
  $notmuch_counter_command
  notmuch_counter_value

They allow to count how many times notmuch binary is called.
notmuch_counter_reset() function generates a script that counts how
many times it is called and resets the counter to zero.  The function
sets $notmuch_counter_command variable to the path to the generated
script that should be called instead of notmuch to do the counting.
The notmuch_counter_value() function returns the current counter
value.

emacs: remove unused variable in `notmuch-show-insert-part-message/rfc822'

An obvious cleanup.  I wonder why there was no warning about this
during compilation.

emacs: remove some code duplication in notmuch-show

Add optional props argument to `notmuch-show-get-header'.  Use it to
get headers in `notmuch-show-insert-part-multipart/signed' and
`notmuch-show-insert-part-multipart/encrypted'.

test/symbol-hiding: compare exported symbols with existing one

We assume that any symbol starting with notmuch_ in lib/*.o should be
exported, and that only those symbols should be exported.

test/symbol-hiding: add some whitespace between tests

This is in preparation for adding a third test to this file

Merge branch 'release'

Conflicts:
NEWS

Conflicts resolved by inserting the 0.10.2 stanza before 0.11

fix format string in Message.__unicode__

Since 2b0116119160f2dc83, Message.__str__ doesn't
construct a hash containing the thread data before
constructing the formatstring. This changes the formatstring
to accept positional parameters instead of a hash.

contrib/.gitattributes: remove

Now that licensing of notmuch-deliver has been harmonized with
notmuch, there is no reason not to export it.

notmuch-deliver: GPL-3+

notmuch-deliver: Import from maildrop-2.5.5

maildrop-2.5.5 is GPL-3.
No change in functionality, just a precaution before relicensing.

make release: remove LATEST-$(PACKAGE)-*

The tar file of particular package (notmuch in this case) is named
as $(PACKAGE)-$(VERSION).tar.gz. Therefore the best way to remove
previous link to LATEST is to remove all files beginning with
LATEST-$(PACKAGE)- and not relying how $(VERSION) string is constructed.

have LATEST-notmuch-<version>.tar.gz on releases web page

The notmuchmail/releases page used to have LATEST-notmuch-<version>
to link to the latest notmuch source tarball. This is confusing on
web page and on disk when the file has been downloaded. This change
looks a bit inconsistent with the 'rm' command just executed before.
$(TAR_FILE) is defined (currently) as $(PACKAGE)-$(VERSION).tar.gz;
as long as the prefix stays $(PACKAGE)-$(VERSION) and version begins
with a digit then this line is good in execution point of view.

test: add test-binaries target

The goal here is to have a simple way of making sure all of the
binaries needed to run tests are available.

python: Remove stray debug comment

This slipped in wrongly in commit 71e0082eff (due to my fault).

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

python: use wrapped notmuch_*_t types instead of raw pointers

Now that types are checked correctly, we also need to make sure that all the
arguments actually are instances of these types. Otherwise the function calls
will fail and raise an exception similar to this one:
   ctypes.ArgumentError: argument 3: <type 'exceptions.TypeError'>: expected
   LP_LP_NotmuchMessageS instance instead of pointer to c_void_p

errors='ignore' when decode to unicode

use __unicode__ for string representation

clean up Thread.__str__

python: Return a STATUS value in tags_to_flags and flags_to_tags

We were not returning anything at all, which does not match the API
documentation. Fixed. Thanks to Patrick Totzke for the heads up.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

remove unused imports

fix sphinx compile-time warnings

no changes to the code, only makes compiling the docs smoother
as some rsT syntax errors were fixed

pep8 fixes

no changes to the code, only fixed stuff denounced by `pep8 *py`

test/python: set LD_LIBRARY_PATH and PYTHONPATH to use local notmuch

Possibly this should be factored out into some kind of "run_python"
function.