test: Disentangle execution of notmuch from the examination of the results.

The old execute_expecting function was doing far too much for its own
good.  One of the worst aspects of this was that it introduced
shell-quoting challengers where the caller could not easily control
the precise invocation of the command to be executed.

I personally couldn't find a way to test "notmuch search '*'" without
the shell expanding * against files in the current directory, or
having bogus quotation marks appearing in the search string,
(defeating the recognition of "*" as a special search term).

Hopefully this aspect of the test suite will be much easier to maintain now.

TODO: Add some ideas for improving the emacs interface.

One of these is a bad bug I noticed this morning, (archiving messages I had
never read when going through a search of "tag:inbox and tag:to-me" and
hitting space bar).

The other ideas came from recent conversations with Dirk and Eric.

TODO: Add some ideas about better search syntax

Recent coding around the "*" feature suggests some improvements that
we could make, (some of which might push us into writing a custom
query parser rather than using the one that exists in Xapian).

Merge bugfix for test-suite correctness.

The test suite was recently broken, and subsequently fixed (at the
commit that introduced the breakage). This merges that fixup commit:

f1776f8b51013bb66eb21e64c8084ddfe73c3a5c

test: Fix reply tests to track insignificant change in output.

The recent fix to properly decode encoded headers made the expected
output of "notmuch reply" differ by a single space, (previously, there
were two spaces before the References: value and now there is just
one).

Fix the test suite so that these are all noted as correct results
again.

Makefile: Fix final linking of notmuch binary for OS X.

Apparently the OS X linker can't resolve symbols when linking a
program (notmuch) against a library (libnotmuch) when the library
depends on another library (libgmime) that the program doesn't depend
on directly.

For this case, we need to link the program directly against both
libraries, but we don't want to do this on Linux, where the linker can
do this on its own and the explicit, unneeded link would cause
problems.

Makefile: Add library version information on OS X.

This encodes the library version into the library, where the linking
binary can pick it up, and the linker can even enforce mismatches in
the minor release, (such as linking a binary against version 1.2 and
then attempting to run it against version 1.1).

Makefile: Fix library linking command for OS X

I'm not sure which system Aaron used, but on the machine I have access
to, (Darwin 8.11.0), the -shared and -dylib_install_name options are
not recognized. Instead I use -dynamic_lib and -install_name as
documented here:

http://www.finkproject.org/doc/porting/shared.php

Add infrastructure for building shared library on OS X.

This patch adds a configure check for OS X (actually Darwin),
and sets up the Makefiles to build a proper shared library on
that platform.

Signed-off-by: Aaron Ecay <aaronecay@gmail.com>

Makefile: Move compat sources from the client code to the library.

Since the library code needs these as well.

Add simplistic reimplementation of strcasestr to compat library

While all systems that I have access to support strcasestr, it is
in fact not part of POSIX. So here's a fallback reimplementation
based on POSIX functions.

Signed-off-by: Dirk Hohndel <hohndel@infradead.org>
Tested-by: Tomas Carnecky <tom@dbservice.com> (on OpenSolaris snv_134)

Makefile: Move include of Makefile.config up from Makefile.local

The recent change to include sub-directory Makefile.local files
before the top-level Makefile.local means that we need to include
the Makefile.config before those. So move it up from Makefile.local
to Makefile.

Fix up Makefile for build.

Must set extra_c(xx)flags before including subdir Makefile.local's,
so that there is a blank slate that the subdirs can add on to.

Must include subdir Makefile.local's before global one, otherwise
the compat sources are not added to the list of those to be
compiled.

Signed-off-by: Aaron Ecay <aaronecay@gmail.com>

Use C++ compiler to link notmuch binaries

Since the binaries contain C++ code, it is necessary to use the C++
linker, or errors result on some platforms (OS X).

Signed-off-by: Aaron Ecay <aaronecay@gmail.com>

Clean up code duplication in adding or removing tag by region.

Clean up code duplication, as per Carl's suggestion, by making
notmuch-search-{add/remove}-tag-thread a special case of the -region
commands, where the region in question is between (point) and (point).

Fix bug in adding or removing tag by region.

There was a bug in notmuch-search-{add,remove}-tag-region, which would
not behave correctly if the region went beyond the last message. Now,
instead of simply iterating to the last line of the region, these
functions will iterate to the minimum of the last line of the region
and the last possible line, i.e.

(- (line-number-at-pos (point-max)) 2)

Tested-by: Carl Worth <cworth@cworth.org> Note that the old, buggy
behavior included infinite loops of emacs lisp code, so the new
behavior is significantly better than that.

TODO: Capture some recent ideas expressed on the mailing list.

There's a potential simplification of notmuch-reply.c and some emacs
improvements that might require extending message-mode to a
notmuch-message-mode.

Decode headers in reply

When headers contain non-ASCII characters, they are encoded according
to rfc2047. Nomtuch reply command emits the headers in the encoded
form, which makes them hard to read by humans who compose the reply.

For example instead of "Subject: Re: Rozlučka" one currently sees
"Subject: Re: =?iso-8859-2?q?Rozlu=E8ka?=".

This patch adds a new GMime filter which is used to decode headers to
UTF-8 and uses this filter when notmuch reply outputs headers.

Signed-off-by: Michal Sojka <sojkam1@fel.cvut.cz>

notmuch.el: quote args in notmuch-show to facilitate remote use

Put single-quotes around the argument of the `show --entire-thread' command
in notmuch-show. This change should have no effect on normal usage.
However, it allows us to use the notmuch.el client with a remote notmuch
binary and database over ssh (by, e.g., setting `notmuch-command' to a
simple shell script). Without the quotes, ssh will not send the command
properly.

One very simple example script is as follows. (Note that it requires
keypair login to the ssh server.)

        #!/bin/sh

        SSH_BIN="/path/to/local/ssh"
        NOTMUCH_HOST="my.remote.server"
        NOTMUCH_REMOTE_PATH="/path/to/remote/notmuch"

        $SSH_BIN $NOTMUCH_HOST $NOTMUCH_REMOTE_PATH $@

TODO: Note GMime bug that needs to be tested and upstreamed.

This bug was recently noted in a commit message, so we should hold
onto it until we've passed it along to the GMime project.

Do not segfault on empty mime parts

notmuch previously unconditionally checked mime parts for various
properties, but not for NULL, which is the case if libgmime encounters
an empty mime part.

Upon encounter of an empty mime part, the following is printed to
stderr (the second line due to my patch):

  (process:17197): gmime-CRITICAL **: g_mime_message_get_mime_part: assertion `GMIME_IS_MESSAGE (message)' failed
  Warning: Not indexing empty mime part.

This is probably a bug that should get addressed in libgmime, but for
not, my patch is an acceptable workaround.

Signed-off-by: martin f. krafft <madduck@madduck.net>

Prevent data loss caused by SIGINT during notmuch new

When Ctrl-C is pressed in a wrong time during notmuch new, it can lead
to removal of messages from the database even if the files were not
removed.

It happened at least once to me.

Signed-off-by: Michal Sojka <sojkam1@fel.cvut.cz>

Fix typo in notmuch.h documentation regarding database open modes

Reviewed-by: Carl Worth <cworth@cworth.org>:
The original proposal for having different open modes used the name
WRITABLE. I didn't like that name, (easy to misspell as WRITEABLE even
for native English speakers). So we renamed it to READ_WRITE
immediately, but apparently some of the documentation held the old
name for a while.

TODO: Make an explicit note that we need to start testing --format=json

The recent fix to handle utf8 in the JSON output is the kind of bug
I'd never like to see again, (so that I'd like the test suite to be
helping us track that).

Fix json_quote_str to handle non-ASCII characters

The current code in json_quote_str() only accepts strict printable ASCII
code points (i.e. 32-127), all other code points are dropped from the
JSON output. The code is attempting to drop only non-printable ASCII
characters, but doing a signed comparison of the byte value is also
dropping characters with values >= 128.

This patch uses an unsigned comparison to accept code points 32-255.

Reviewed-by: Carl Worth <cworth@cworth.org> (with some additional
details for commit message).

TODO: Note several changes we want to make to the database schema.

Since database upgrades can be fairly painful, we'll want to do all of
these within a single release.

lib: Remove condition regarding a NULL parent_thread_id.

A recent change guaranteed that a message ID can never be resolved
to a NULL thread ID, so we don't need this extra case.

lib: Always add reference terms to the database.

Previously, we were only adding the reference terms for cases where
the referenced message did not yet exist in the database. For thread
presentation, it's useful to have the connection information provided
by the references, even when the messages are present. So add this
term unconditionally.

lib: Document the metadata stored within the Xapian database.

We are currently storing "version", "last_thread_id", and
"thread_id_*" values so document how each of these are used.

lib: Fix line-wrapping in _notmuch_database_link_message.

This function had some excessively long lines due to nested
expressions. It's simple enough to un-nest these and have readable
line lengths.

lib: Fix internal documentation of _notmuch_database_link_message

This function was recently modified, (to include a metadata lookup for
a message's thread ID before looking for parent/child thread IDs), but
the documentation wasn't updated. Fix that.

lib: Simplify code flow in _resolve_message_id_to_thread_id

There are two primary cases in this function, (the message exists in
the database or it does not). Previously the code for these two cases
was split and intermingled with goto-spaghetti connections.

lib: Fix internal documentation of _resolve_message_id_to_thread_id

We no longer return NULL, but instead generate a new thread ID for
messages that we haven't seen yet.

Store thread ids for messages that we haven't seen yet

This allows us to thread messages even when we receive them out of
order, or never receive the root.

The thread ids for messages that aren't present but are referred to are
stored as metadata in the database and then retrieved if we ever get
that message.

When determining the thread id for a message we also check for this
metadata so that we can thread descendants of a message together before
we receive it.

Edited by Carl Worth <cworth@cworth.org>: Split this portion of the
commit from the earlier-applied portion adding test cases.

test: Add new tests for out-of-order messages.

These new tests demonstrate a bug as follows:

  Multiple messages are added to the database

  All of these message references a common parent

  The parent message does not exist in the databas

In this scenario, the messages will not be recognized as belonging to
the same thread. We consider this a bug, and the new tests treat this
as a failure.

Edited by Carl Worth <cworth@cworth.org>: Split these tests into their
own commit (before the fix of the bug). This lets me see the actual
failure in the test suite, before the fix is applied. Also fix the
alignment of new messages from test suite, (so that the PASS portions
all line up---which is important while we're still manually verifying
test-suite results).

RELEASING: Update instructions for new version technique.

We pass this in on the "make release" command-line rather than editing
the Makefile.

Derive version numbers from git

I often have several versions of notmuch compiled and it would be very
helpful to be able to distinguish between them. Git has a very nice
feature to make intermediate numbering automatic and unambiguous so
let's use it here.

For tagged versions, the version is the name of the tag, for
intermediate versions, the unique ID of the commit is appended to the
tag name.

When notmuch is compiled from a release tarball, there is no git
repository and therefore the tarball contains a special file 'version',
which contains the version of release tarball.

To create a new release one has to run 'make release VERSION=X.Y'.

nomtuch.1: Add documentation for "notmuch count"

Somehow this has been missing from our manual. Add it now.

notmuch count: Remove unneeded paragraph from documentation.

This paragraph acts like it's introducing an example, but then no
example is given. Just drop this.

notmuch count: Remove special handling of "*".

From both the implementation and from the documentation. This is
handled generically in the library for all search-based commands,
so count doesn't need special treatment.

notmuch: Document the new special-case syntax of "*".

This functionality came through a recent addition to the library.

lib: Handle "*" as a query string to match all messages.

This seems like a generally useful thing to support, (but the previous
support through an empty string was not convenient for some users,
(such as the command-line client).

Have notmuch count default to showing the total.

If no parameters are given to notmuch-count, or just '' or '*' are
given, return the total number of messages in the database.

update notmuch count help

Fix the default value for --includedir.

debian: Unbreak the build.

I had the wrong syntax for the dh_auto_configure override.

Fix code extracting the MTA from Received: headers

The previous code made too many assumptions about the (sadly not
standardized) format of the Received headers. This version should
be more robust to deal with different variations.

Signed-off-by: Dirk Hohndel <hohndel@infradead.org>

emacs: Correct the documentation for notmuch-search-add-tag (and -remove-tag)

These commands act on all messages in the thread, not simply those
that match the search. (There are use case for both behaviors, but the
documentation must match the behavior that's actually implemented).

notmuch.el: add functionality in notmuch search mode to add or remove tags by region

This patch adds `-region' versions of the `notmuch-search-' commands to find
properties. It also splits up  `notmuch-add/remove-tags' into both a
`-thread' and a `-region' version. (This makes us modify
`notmuch-search-archive-thread' to use the
`notmuch-search-remove-tag-thread' function, instead of
`notmuch-search-remove-tag', for consistency.) The add/remove-tag command
called by pressing `+' or `-' will then choose accordingly, based on whether
region is active.

This version fixes a couple of errors in the first version, which led to
incorrect marking of some tags in the search view (though the actual
tagging was still correct). It's also based on current master.

I'm not sure any more if region selection is actually the correct way to
do this, or if a mutt-style message-marking method would be better. But
I didn't want a buggy incorrect version out there.

Display the last few lines of a citation by default.

As put forth in the commit that enabled this functionality, the last
few lines of a citation are often much more important. In that case,
let's actually do the useful thing by default.

notmuch.el: Allow citation suffixes to be shown as well as prefixes.

In many conversations the last few lines of a citation are more
interesting than the first few lines, hence allow those to be shown if
desired.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

notmuch.el: Colour cited regions and signatures with message-cited-text-face

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de> (with fixup to
               avoid over-eager coloring of signatures).

notmuch.el: colorize lines in notmuch-search based on thread tags.

Arbitrary font faces can be specified for given thread tags.  By
default, no coloring is applied.  To specify coloring, place something
like this in your .emacs:

(setq notmuch-search-line-faces '(("delete" . '(:foreground "red"))
                                  ("unread" . '(:foreground "green"))))

Order matters: line faces listed first will take precedence (in the
example above, a thread tagged both "delete" and "unread" will be
colored red, since the "delete" face is listed before the "unread").
 notmuch.el |   33 ++++++++++++++++++++++++++++++++-
 1 files changed, 32 insertions(+), 1 deletions(-)

emacs: Fix typo in line-wrapping in documentation of notmuch-show.

Just trying to keep things neat.

notmuch.el: Make notmuch-show buffer name first subject, instead of thread-id (supersedes V1--3)

Change the buffer name to a uniquified subject of the thread (i.e. the
subject of the first message in the thread) instead of the thread-id. This
is more meaningful to the user, and will make it easier to scroll through
numerous open buffers.

Note that this patch adds an optional `buffer-name' argument to notmuch
show.

Signed-off-by: Jesse Rosenthal <jrosenthal@jhu.edu>
Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

notmuch.el: 'F' in search mode takes us to a list of folders.

notmuch.el: fontify date in header

The date was unfairly left out of getting pretty colors in the
notmuch-show header display.  This fixes that grave injustice.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Makefile: Install emacs code to site-lisp, not site-lisp/notmuch

And just make the Debian packaging request site-lisp/notmuch like it
wants. Otherwise, the installed files won't appear on the load-path
so won't be found by emacs.

notmuch-reply: Remove stray brace.

That was breaking the build.

fix obvious cut and paste error

the wrong variable is checked for success of an allocation

Signed-off-by: Dirk Hohndel <hohndel@infradead.org>

TODO: Note that "notmuch reply" needs to be tested.

This is a feature that we just added without a test case.

notmuch-reply: Remove a useless level of nesting.

Making the code a tiny bit easier to read (in my opinion at least).

notmuch-reply: Fix some whitespace issues.

No actual code change here. Just whitespace style, (mostly just my
preferred space before a left parenthesis, and a space after a comma).

guess From address from Received headers

When replying to a message notmuch tries to pick the correct From
 address by looking which one of a user's configured email addresses
 were included in To or Cc headers of the email that is being replied to.
 If none of the users email addresses are in the To or Cc headers we now
 try to guess from the first (chronologically, last) Received header
 which domain this email was received in and therefore which of the
 email addresses to use in a reply
 If that fails we still use the primary email as From email

Signed-off-by: Dirk Hohndel <hohndel@infradead.org>

fix notmuch_message_file_get_header

fix notmuch_message_file_get_header to always return the first instance
 of the header you are looking for

Signed-off-by: Dirk Hohndel <hohndel@infradead.org>

Merge branch 'debian'

These are the changes made between the notmuch 0.1 release and the
release of Debian version 0.1-1. It's mostly changes to the debian
directory, of course, but does also include some generally useful
Makefile improvements.

debian: Add a watch file.

To help people pester me in the case of uploading a new upstream
release without a corresponding Debian package.

Avoid needlessly linking final notmuch binary against libXapian.

The libnotmuch.so library already does, so we don't need to do
it again. (Thanks to a Debian debhelper warning for pointing this
out.)

debian: Modify each package description slightly.

This avoids a lintian complaint about several packages with identical
package descriptions.

man: Fix several occurences of hyphen intended to be minus.

With man pages we have to be careful or commands may not function
after copy-and-paste.

debian: Update standards version to 3.8.4.

No changes needed.

debian: Split into multiple packages.

The library goes into libnotmuch1 and the headers into libnotmuch-dev.

debian: Fix Vcs-Browser link

We're doing debian packaging in the primary repository now.

debian: Don't try compiling emacs bytecode for emacs < 21

It just doesn't work.

debian: Fix broken symlinking of emacs lisp files.

This broke when we changed from a single notmuch.el file
to multiple notmuch-foo.el files.

Install emacs lisp files into a notmuch sub-directory of site-lisp.

Now that we have multiple emacs-lisp source files, it's just more
polite this way.

Makefile: Add a disctclean target (simply calling clean)

We currently don't distribute anything that's not already in git, so
there's no difference between these two targets, (but debhelper wants
to be able to call distclean).

Update Debian package version to 0.1-1.

To make a Debian package for the recent 0.1 release of notmuch.

configure: Ignore more options that debhelper expects.

These include:

--infodir=DIR
--localstatedir=DIR
--libexecdir=DIR
--disable-maintainer-mode
--disable-dependency-tracking

configure: Add a --sysconfdir option.

Which means that the bash completion script will now install
to ${prefix}/etc by default (unless configured with --syconfdir=/etc)
which is probably the right thing to do.

configure: Add support for a --mandir option

Again, nothing tricky here.

configure: Add support for a --includedir option

Very similar to the existing --libdir option.

configure: Avoid printing '.' at the end of error message.

Since we're emitting the user's input back, let's leave it pristine
and not confuse the issue by adding a final period.

configure: Add stub support for --build=<cpu>-<vendor>-<host> option.

I'm not sure that this option would actually be useful for anything,
but debhelper at least expects our configure script to support it. So
we'll accept it and ignore it.

packaging: Add a pointer to where the debian packaging really is.

Most anyone familiar with debian should know to look for the top-level
debian directory, but since we do have a "packaging" directory, I
thought it should at least mention the debian stuff rather than just
containing the fedora spec file.

Merge branch 'debian' into rebuild

Conflicts:

  Makefile.local: The Makefiles were all recently re-written on
  master, but I did ensure that the changes from the
  debian branch were all implemented here, (in
  particular, installing the emacs files from "make
  install").

  configure: I've reverted one change as part of this merge:

commit 9f99a301b158dc1ed1c8c6754db1d57e3b0becf4

Remove ./configure failure for unrecognized options

     I'd much rather find what options the Debian scripts pass
     and either implement them or at least make the explicitly
     do nothing. One of the things that often annoyed me about
     gnu autoconf-generated configure scripts was the silent
     ignoring of unknown options, (which was very unhelpful in
     the case of mistyped options on the command line).

Move "config" test programs to "compat".

It makes sense to me to have the little tests for functionality right
next to the comptability implementations of that same functionality.

But also, this means I can now tab-complete ./configure from the three
initial characters (rather than the seven required previously).

Makefile: Move the completion-specific commands to completion/Makefile.local

For much better modularity.

Rename the "contrib" directory to "completion".

The original "contrib" name is lousy. Everything in notmuch has been
contributed, and we are integrating as much of it as possible, (rather
than making users grub through contrib looking for useful pieces to
install).

Meanwhile, the only things we have in contrib are command-line
completion scripts, so "completion" makes more sense as a name, (and
helps make "./configure" slightly less ambiguous).

.gitignore: Ignore the releases directory.

The "make release" target creates this directory, but it's nothing
I'll ever want to add to the git repository.

Makefile: Eliminate the separate install-bash and install-zsh targets.

Again, simplifying the interface to the Makefile. Installing these
files doesn't require bash nor zsh to actually be installed, so there's
little harm in just installing them unconditionally.

Makefile: Eliminate the "make install-emacs" target.

Instead, simply byte-compile the emacs source files as part of "make"
and install them as part of "make install". The byte compilation is
made conditional on the configure script finding the emacs binary.
That way, "make; make install" will still work for someone that doesn't
have emacs installed, (which was the only reason we had made a separate
"make install-emacs" target in the first place).

Makefiles: Eliminate the useless quiet_* functions.

With the original quiet function, there's an actual purpose (hiding
excessively long compiler command lines so that warnings and errors
from the compiler can be seen).

But with things like quiet_symlink there's nothing quieter. In fact
"SYMLINK" is longer than "ln -sf". So all this is doing is hiding the
actual command from the user for no real benefit.

The only actual reason we implemented the quiet_* functions was to be
able to neatly right-align the command name and left-align the arguments.

Let's give up on that, and just left-align everything, simplifying the
Makefiles considerably. Now, the only instances of a captialized command
name in the output is if there's some actually shortening of the command
itself.

make release: Add "what's new" and "what is notmuch" sections to announcement

For other projects I release, there's a bunch of manual effort in
cosntructing the final release-announcement email. That's silly.
So automate this by extracting the appropirate text from NEWS and
by including a canned piece of the content from README.

Makefile: Print template for release announcement.

At the end of "make release" or at any point later with
"make release-message".

Makefile: Make the "make release" target push the new tag.

Otherwise I'm sure I'll always forget to push it.

Merge commit '0.1'

This is a merge of the few changes I made to release 0.1
retroactively, (after having incremented the version to 0.1.1).

Conflicts:
Makefile.local (renamed NOTMUCH_VERSION to VERSION)

Makefile: Finish implementing the "make release" target.

And hopefully it actually works.

Makefile: Start implementing a "make release" target.

So far just doing checks that the version is sane and that no release
of the same version already exists.

NEWS: Add some (brief) news items for the initial 0.1 release.

Generally, the NEWS items will describe changes since the previous
release. But there's not much we can do for that since we've never had
a release before.

RELEASING: Add this file describing the steps to make a release.

These steps might be changing a bit as we work on making the initial
0.1 release.