Prevent data loss caused by SIGINT during notmuch new

When Ctrl-C is pressed in a wrong time during notmuch new, it can lead
to removal of messages from the database even if the files were not
removed.

It happened at least once to me.

Signed-off-by: Michal Sojka <sojkam1@fel.cvut.cz>

Fix typo in notmuch.h documentation regarding database open modes

Reviewed-by: Carl Worth <cworth@cworth.org>:
The original proposal for having different open modes used the name
WRITABLE. I didn't like that name, (easy to misspell as WRITEABLE even
for native English speakers). So we renamed it to READ_WRITE
immediately, but apparently some of the documentation held the old
name for a while.

TODO: Make an explicit note that we need to start testing --format=json

The recent fix to handle utf8 in the JSON output is the kind of bug
I'd never like to see again, (so that I'd like the test suite to be
helping us track that).

Fix json_quote_str to handle non-ASCII characters

The current code in json_quote_str() only accepts strict printable ASCII
code points (i.e. 32-127), all other code points are dropped from the
JSON output. The code is attempting to drop only non-printable ASCII
characters, but doing a signed comparison of the byte value is also
dropping characters with values >= 128.

This patch uses an unsigned comparison to accept code points 32-255.

Reviewed-by: Carl Worth <cworth@cworth.org> (with some additional
details for commit message).

TODO: Note several changes we want to make to the database schema.

Since database upgrades can be fairly painful, we'll want to do all of
these within a single release.

lib: Remove condition regarding a NULL parent_thread_id.

A recent change guaranteed that a message ID can never be resolved
to a NULL thread ID, so we don't need this extra case.

lib: Always add reference terms to the database.

Previously, we were only adding the reference terms for cases where
the referenced message did not yet exist in the database. For thread
presentation, it's useful to have the connection information provided
by the references, even when the messages are present. So add this
term unconditionally.

lib: Document the metadata stored within the Xapian database.

We are currently storing "version", "last_thread_id", and
"thread_id_*" values so document how each of these are used.

lib: Fix line-wrapping in _notmuch_database_link_message.

This function had some excessively long lines due to nested
expressions. It's simple enough to un-nest these and have readable
line lengths.

lib: Fix internal documentation of _notmuch_database_link_message

This function was recently modified, (to include a metadata lookup for
a message's thread ID before looking for parent/child thread IDs), but
the documentation wasn't updated. Fix that.

lib: Simplify code flow in _resolve_message_id_to_thread_id

There are two primary cases in this function, (the message exists in
the database or it does not). Previously the code for these two cases
was split and intermingled with goto-spaghetti connections.

lib: Fix internal documentation of _resolve_message_id_to_thread_id

We no longer return NULL, but instead generate a new thread ID for
messages that we haven't seen yet.

Store thread ids for messages that we haven't seen yet

This allows us to thread messages even when we receive them out of
order, or never receive the root.

The thread ids for messages that aren't present but are referred to are
stored as metadata in the database and then retrieved if we ever get
that message.

When determining the thread id for a message we also check for this
metadata so that we can thread descendants of a message together before
we receive it.

Edited by Carl Worth <cworth@cworth.org>: Split this portion of the
commit from the earlier-applied portion adding test cases.

test: Add new tests for out-of-order messages.

These new tests demonstrate a bug as follows:

  Multiple messages are added to the database

  All of these message references a common parent

  The parent message does not exist in the databas

In this scenario, the messages will not be recognized as belonging to
the same thread. We consider this a bug, and the new tests treat this
as a failure.

Edited by Carl Worth <cworth@cworth.org>: Split these tests into their
own commit (before the fix of the bug). This lets me see the actual
failure in the test suite, before the fix is applied. Also fix the
alignment of new messages from test suite, (so that the PASS portions
all line up---which is important while we're still manually verifying
test-suite results).

RELEASING: Update instructions for new version technique.

We pass this in on the "make release" command-line rather than editing
the Makefile.

Derive version numbers from git

I often have several versions of notmuch compiled and it would be very
helpful to be able to distinguish between them. Git has a very nice
feature to make intermediate numbering automatic and unambiguous so
let's use it here.

For tagged versions, the version is the name of the tag, for
intermediate versions, the unique ID of the commit is appended to the
tag name.

When notmuch is compiled from a release tarball, there is no git
repository and therefore the tarball contains a special file 'version',
which contains the version of release tarball.

To create a new release one has to run 'make release VERSION=X.Y'.

nomtuch.1: Add documentation for "notmuch count"

Somehow this has been missing from our manual. Add it now.

notmuch count: Remove unneeded paragraph from documentation.

This paragraph acts like it's introducing an example, but then no
example is given. Just drop this.

notmuch count: Remove special handling of "*".

From both the implementation and from the documentation. This is
handled generically in the library for all search-based commands,
so count doesn't need special treatment.

notmuch: Document the new special-case syntax of "*".

This functionality came through a recent addition to the library.

lib: Handle "*" as a query string to match all messages.

This seems like a generally useful thing to support, (but the previous
support through an empty string was not convenient for some users,
(such as the command-line client).

Have notmuch count default to showing the total.

If no parameters are given to notmuch-count, or just '' or '*' are
given, return the total number of messages in the database.

update notmuch count help

Fix the default value for --includedir.

debian: Unbreak the build.

I had the wrong syntax for the dh_auto_configure override.

Fix code extracting the MTA from Received: headers

The previous code made too many assumptions about the (sadly not
standardized) format of the Received headers. This version should
be more robust to deal with different variations.

Signed-off-by: Dirk Hohndel <hohndel@infradead.org>

emacs: Correct the documentation for notmuch-search-add-tag (and -remove-tag)

These commands act on all messages in the thread, not simply those
that match the search. (There are use case for both behaviors, but the
documentation must match the behavior that's actually implemented).

notmuch.el: add functionality in notmuch search mode to add or remove tags by region

This patch adds `-region' versions of the `notmuch-search-' commands to find
properties. It also splits up  `notmuch-add/remove-tags' into both a
`-thread' and a `-region' version. (This makes us modify
`notmuch-search-archive-thread' to use the
`notmuch-search-remove-tag-thread' function, instead of
`notmuch-search-remove-tag', for consistency.) The add/remove-tag command
called by pressing `+' or `-' will then choose accordingly, based on whether
region is active.

This version fixes a couple of errors in the first version, which led to
incorrect marking of some tags in the search view (though the actual
tagging was still correct). It's also based on current master.

I'm not sure any more if region selection is actually the correct way to
do this, or if a mutt-style message-marking method would be better. But
I didn't want a buggy incorrect version out there.

Display the last few lines of a citation by default.

As put forth in the commit that enabled this functionality, the last
few lines of a citation are often much more important. In that case,
let's actually do the useful thing by default.

notmuch.el: Allow citation suffixes to be shown as well as prefixes.

In many conversations the last few lines of a citation are more
interesting than the first few lines, hence allow those to be shown if
desired.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

notmuch.el: Colour cited regions and signatures with message-cited-text-face

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de> (with fixup to
               avoid over-eager coloring of signatures).

notmuch.el: colorize lines in notmuch-search based on thread tags.

Arbitrary font faces can be specified for given thread tags.  By
default, no coloring is applied.  To specify coloring, place something
like this in your .emacs:

(setq notmuch-search-line-faces '(("delete" . '(:foreground "red"))
                                  ("unread" . '(:foreground "green"))))

Order matters: line faces listed first will take precedence (in the
example above, a thread tagged both "delete" and "unread" will be
colored red, since the "delete" face is listed before the "unread").
 notmuch.el |   33 ++++++++++++++++++++++++++++++++-
 1 files changed, 32 insertions(+), 1 deletions(-)

emacs: Fix typo in line-wrapping in documentation of notmuch-show.

Just trying to keep things neat.

notmuch.el: Make notmuch-show buffer name first subject, instead of thread-id (supersedes V1--3)

Change the buffer name to a uniquified subject of the thread (i.e. the
subject of the first message in the thread) instead of the thread-id. This
is more meaningful to the user, and will make it easier to scroll through
numerous open buffers.

Note that this patch adds an optional `buffer-name' argument to notmuch
show.

Signed-off-by: Jesse Rosenthal <jrosenthal@jhu.edu>
Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

notmuch.el: 'F' in search mode takes us to a list of folders.

notmuch.el: fontify date in header

The date was unfairly left out of getting pretty colors in the
notmuch-show header display.  This fixes that grave injustice.

Signed-off-by: Sebastian Spaeth <Sebastian@SSpaeth.de>

Makefile: Install emacs code to site-lisp, not site-lisp/notmuch

And just make the Debian packaging request site-lisp/notmuch like it
wants. Otherwise, the installed files won't appear on the load-path
so won't be found by emacs.

notmuch-reply: Remove stray brace.

That was breaking the build.

fix obvious cut and paste error

the wrong variable is checked for success of an allocation

Signed-off-by: Dirk Hohndel <hohndel@infradead.org>

TODO: Note that "notmuch reply" needs to be tested.

This is a feature that we just added without a test case.

notmuch-reply: Remove a useless level of nesting.

Making the code a tiny bit easier to read (in my opinion at least).

notmuch-reply: Fix some whitespace issues.

No actual code change here. Just whitespace style, (mostly just my
preferred space before a left parenthesis, and a space after a comma).

guess From address from Received headers

When replying to a message notmuch tries to pick the correct From
 address by looking which one of a user's configured email addresses
 were included in To or Cc headers of the email that is being replied to.
 If none of the users email addresses are in the To or Cc headers we now
 try to guess from the first (chronologically, last) Received header
 which domain this email was received in and therefore which of the
 email addresses to use in a reply
 If that fails we still use the primary email as From email

Signed-off-by: Dirk Hohndel <hohndel@infradead.org>

fix notmuch_message_file_get_header

fix notmuch_message_file_get_header to always return the first instance
 of the header you are looking for

Signed-off-by: Dirk Hohndel <hohndel@infradead.org>

Merge branch 'debian'

These are the changes made between the notmuch 0.1 release and the
release of Debian version 0.1-1. It's mostly changes to the debian
directory, of course, but does also include some generally useful
Makefile improvements.

debian: Add a watch file.

To help people pester me in the case of uploading a new upstream
release without a corresponding Debian package.

Avoid needlessly linking final notmuch binary against libXapian.

The libnotmuch.so library already does, so we don't need to do
it again. (Thanks to a Debian debhelper warning for pointing this
out.)

debian: Modify each package description slightly.

This avoids a lintian complaint about several packages with identical
package descriptions.

man: Fix several occurences of hyphen intended to be minus.

With man pages we have to be careful or commands may not function
after copy-and-paste.

debian: Update standards version to 3.8.4.

No changes needed.

debian: Split into multiple packages.

The library goes into libnotmuch1 and the headers into libnotmuch-dev.

debian: Fix Vcs-Browser link

We're doing debian packaging in the primary repository now.

debian: Don't try compiling emacs bytecode for emacs < 21

It just doesn't work.

debian: Fix broken symlinking of emacs lisp files.

This broke when we changed from a single notmuch.el file
to multiple notmuch-foo.el files.

Install emacs lisp files into a notmuch sub-directory of site-lisp.

Now that we have multiple emacs-lisp source files, it's just more
polite this way.

Makefile: Add a disctclean target (simply calling clean)

We currently don't distribute anything that's not already in git, so
there's no difference between these two targets, (but debhelper wants
to be able to call distclean).

Update Debian package version to 0.1-1.

To make a Debian package for the recent 0.1 release of notmuch.

configure: Ignore more options that debhelper expects.

These include:

--infodir=DIR
--localstatedir=DIR
--libexecdir=DIR
--disable-maintainer-mode
--disable-dependency-tracking

configure: Add a --sysconfdir option.

Which means that the bash completion script will now install
to ${prefix}/etc by default (unless configured with --syconfdir=/etc)
which is probably the right thing to do.

configure: Add support for a --mandir option

Again, nothing tricky here.

configure: Add support for a --includedir option

Very similar to the existing --libdir option.

configure: Avoid printing '.' at the end of error message.

Since we're emitting the user's input back, let's leave it pristine
and not confuse the issue by adding a final period.

configure: Add stub support for --build=<cpu>-<vendor>-<host> option.

I'm not sure that this option would actually be useful for anything,
but debhelper at least expects our configure script to support it. So
we'll accept it and ignore it.

packaging: Add a pointer to where the debian packaging really is.

Most anyone familiar with debian should know to look for the top-level
debian directory, but since we do have a "packaging" directory, I
thought it should at least mention the debian stuff rather than just
containing the fedora spec file.

Merge branch 'debian' into rebuild

Conflicts:

  Makefile.local: The Makefiles were all recently re-written on
  master, but I did ensure that the changes from the
  debian branch were all implemented here, (in
  particular, installing the emacs files from "make
  install").

  configure: I've reverted one change as part of this merge:

commit 9f99a301b158dc1ed1c8c6754db1d57e3b0becf4

Remove ./configure failure for unrecognized options

     I'd much rather find what options the Debian scripts pass
     and either implement them or at least make the explicitly
     do nothing. One of the things that often annoyed me about
     gnu autoconf-generated configure scripts was the silent
     ignoring of unknown options, (which was very unhelpful in
     the case of mistyped options on the command line).

Move "config" test programs to "compat".

It makes sense to me to have the little tests for functionality right
next to the comptability implementations of that same functionality.

But also, this means I can now tab-complete ./configure from the three
initial characters (rather than the seven required previously).

Makefile: Move the completion-specific commands to completion/Makefile.local

For much better modularity.

Rename the "contrib" directory to "completion".

The original "contrib" name is lousy. Everything in notmuch has been
contributed, and we are integrating as much of it as possible, (rather
than making users grub through contrib looking for useful pieces to
install).

Meanwhile, the only things we have in contrib are command-line
completion scripts, so "completion" makes more sense as a name, (and
helps make "./configure" slightly less ambiguous).

.gitignore: Ignore the releases directory.

The "make release" target creates this directory, but it's nothing
I'll ever want to add to the git repository.

Makefile: Eliminate the separate install-bash and install-zsh targets.

Again, simplifying the interface to the Makefile. Installing these
files doesn't require bash nor zsh to actually be installed, so there's
little harm in just installing them unconditionally.

Makefile: Eliminate the "make install-emacs" target.

Instead, simply byte-compile the emacs source files as part of "make"
and install them as part of "make install". The byte compilation is
made conditional on the configure script finding the emacs binary.
That way, "make; make install" will still work for someone that doesn't
have emacs installed, (which was the only reason we had made a separate
"make install-emacs" target in the first place).

Makefiles: Eliminate the useless quiet_* functions.

With the original quiet function, there's an actual purpose (hiding
excessively long compiler command lines so that warnings and errors
from the compiler can be seen).

But with things like quiet_symlink there's nothing quieter. In fact
"SYMLINK" is longer than "ln -sf". So all this is doing is hiding the
actual command from the user for no real benefit.

The only actual reason we implemented the quiet_* functions was to be
able to neatly right-align the command name and left-align the arguments.

Let's give up on that, and just left-align everything, simplifying the
Makefiles considerably. Now, the only instances of a captialized command
name in the output is if there's some actually shortening of the command
itself.

make release: Add "what's new" and "what is notmuch" sections to announcement

For other projects I release, there's a bunch of manual effort in
cosntructing the final release-announcement email. That's silly.
So automate this by extracting the appropirate text from NEWS and
by including a canned piece of the content from README.

Makefile: Print template for release announcement.

At the end of "make release" or at any point later with
"make release-message".

Makefile: Make the "make release" target push the new tag.

Otherwise I'm sure I'll always forget to push it.

Merge commit '0.1'

This is a merge of the few changes I made to release 0.1
retroactively, (after having incremented the version to 0.1.1).

Conflicts:
Makefile.local (renamed NOTMUCH_VERSION to VERSION)

Makefile: Finish implementing the "make release" target.

And hopefully it actually works.

Makefile: Start implementing a "make release" target.

So far just doing checks that the version is sane and that no release
of the same version already exists.

NEWS: Add some (brief) news items for the initial 0.1 release.

Generally, the NEWS items will describe changes since the previous
release. But there's not much we can do for that since we've never had
a release before.

RELEASING: Add this file describing the steps to make a release.

These steps might be changing a bit as we work on making the initial
0.1 release.

Increment version to 0.1.1

After publishing the first notmuch release (0.1) to
http://notmuchmail.org/releases .

Makefile: Add a dist target.

To create a versioned tar file for release.

Makfiles: Make the top-level targets PHONY

Just to avoid any clash with files of the same names.

notmuch-query.el: new file to support access to the notmuch database.

Initially this file provides one main function
notmuch-query-get-threads, which takes a set of search terms, and
returns a parsed set of matching threads as a lisp data structure.

A set of notmuch-query-map-* functions are provided to help map
functions over the data structure.

The function notmuch-query-get-message-ids uses this machinery to get
the set of message-ids matching a query.

Edited-by: Carl Worth <cworth@cworth.org>: Change comment syntax,
(";;" rather than ";" to make emacs-lisp mode happy), and eliminate
some excess whitespace, as suggested by David Edmonson.

notmuch: Correctly terminate text/* parts in JSON output

Text parts returned by `g_mime_stream_mem_get_byte_array()' are not
NULL terminated strings - add `json_quote_chararray()' to handle them
correctly.

git: Ignore `notmuch-shared'

emacs: Move notmuch-show functionality to notmuch-show.el

To ease the transition to a JSON based implementation of
`notmuch-show', move the current implementation into a separate file.

Create `notmuch-lib.el' to hold common variables.

TODO: Add notes on removing "notmuch part" and "notmuch search-tags".

Both of these ideas were recently discussed on the mailing list.

emacs: Fix "free variable" warning for notmuch-folder-show-empty.

Emacs really wants us to defvar each variable before assigning to it,
(which gives us a place to document the variable as well).

emacs/notmuch.el: Improve tag highlighting in search mode

Assume that tags never include an opening bracket, and hence improve
the regular expression used to highlight them. This avoids false
matches where the 'from' address of a thread participant includes an
opening bracket.

Makefile.local: Automatically use makefile mode

We add a magic line to the beginning of each Makefile.local file to
help the editor know that it should use makefile mode for editing the
file, (even though the filename isn't exactly "Makefile").

Edited-by: Carl Worth <cworth@cworth.org>: Expand treatment from
emacs/Makefile.local to each instance of Makefile.local.

Makefile: Add the emacs directory to load-path when compiling

Reviewed-by: Carl Worth <cworth@cworth.org>: Presumably, this is to
enable proper building in the very near-term future where the emacs
implementation consists of multiple files where some will `require'
functions from others.

Merge remote branch 'dme/dme-for-cworth'

Conflicts:
notmuch.c (Simply the change in documentation indentation level).

Makefile: Only print the "make install" hint after the first build.

It was getting quite annoying to see this big block of text on every
little build, (but I didn't want to get rid of it for any new users).
This seems to strike the right balance.

notmuch help: Eliminate a gratuitous level of indentation.

I don't really know why we ended up having everything indented by two
tabs, (perhaps trying to make it match the man page)? But wihout any
containing context to justify that it just looks odd.

notmuch help: Simplify output by omitting arguments for each command.

The output was far too busy otherwise. It's more useful to just
show the argument list in the case of "notmuch help <command>"
for a specific command.

(Credit due to running "git help" and seeing a much more readable
list than what was coming out of "notmuch help".)

notmuch: Add a version (0.1 initially) with a new --version option.

We're planning to do actual releases soon, so we need a version
number to put into the tar file.

notmuch: Add support for a --help option.

Previously, only "notmuch help" worked while a call to "notmuch --help"
would just print a message telling the user to call "notmuch help".
Instead of the redirection, just support --help directly now.

notmuch: Add a 'part' subcommand

A new 'part' subcommand allows the user to extract a single part from
a MIME message. Usage:
  notmuch part --part=<n> <search terms>
The search terms must match only a single message
(e.g. id:foo@bar.com). The part number specified refers to the part
identifiers output by `notmuch show'. The content of the part is
written the stdout with no formatting or identification marks. It is
not JSON formatted.

notmuch-show: Add unix and relative dates to the JSON output

Include a 'date_unix' and 'date_relative' field in the JSON output for
each message. 'date_relative' can be used by a UI implementation,
whereas 'date_unix' is useful when scripting.

Compile a static notmuch binary (but only install the shared version)

The idea here is to allow a new user of notmuch to be able to run
notmuch immediately after compiling, (without having to install
the shared library first). This also ensures that the test suite
tests the locally compiled library, and not whatever installled
version of the library the dynamic linker happens to find.