notmuch: Add search mode hook

This patch add notmuch-search-hook that gets run when we
after displaying search results

Signed-off-by: Aneesh Kumar K.V <aneesh.kumar@linux.vnet.ibm.com>
Cc:Keith Packard <keithp@keithp.com>

Makefile: Create elisp install directory explicitly

When doing a DESTDIR install, this directory likely won't exist, and
installing notmuch.el will fail.

See 0d4b5292

bash-completion: Complete options for notmuch search

bash-completion: Localize variables, use more consistent variable names

bash-completion: Whitespace fix

Signed-off-by: Ingmar Vanhassel <ingmar@exherbo.org>

bash-completion: Bash has & should use [[ == ]]

Signed-off-by: Ingmar Vanhassel <ingmar@exherbo.org>

Allow lone "not" search operators

As suggested by Keith in FLAG_PURE_NOT allows for expressions like:

  notmuch search NOT tag:inbox

Note that this way a search like:

  notmuch search foobar NOT tag:inbox

should not be written instead:

  notmuch search foobar AND NOT tag:inbox

In my opinion, the latter feels more natural and is somewhat more explicit.
It gives a better clue of what the search is about instead of assuming that
an implicit AND operator is there.

.gitignore: Add common editor droppings

notmuch new: Restore printout of total files counted.

This was more fallout from the recent re-shuffling of this code.

notmuch new: Fix countdown timer on first run.

A recent shuffling of this code accidentally disabled the timer,
(making the time spent counting the files totally useless).

Makefile: Actually install the emacs mode.

Should have been doing this a long time ago.

notmuch.el: Add a reply binding ('r') to search mode to reply to a whole thread.

This is basically right, (I get a message buffer with all the mails
quoted), but somehow notmuch reply is reversing the messages. That's a
nuisance.

reply: Pointer mismatch.

Apparently typeof (size_t) != unsigned int on my x86-64.

Makefile: evaluate pkg-config once

Currently the same `pkg-config ...` is executed for every target, so
just store the results in a variable.

Make reply/show/tag all require at least one search term

In particular, notmuch tag -inbox "" tended to take a long time to
run, happened if you hit 'a' on a blank line in the search view and
probably didn't have the desired effect.

Signed-off-by: Keith Packard <keithp@keithp.com>

Have git ignore etags file

Filter out carriage-returns in show and reply output.

Thanks, windows mail clients.

Signed-off-by: Keith Packard <keithp@keithp.com>

We use the message mail system for new mail, let emacs know.

This makes things like the goto-address system bring up the right
message composition window.

Signed-off-by: Keith Packard <keithp@keithp.com>

Create a default notmuch-show-hook that highlights URLs and uses word-wrap

I created the notmuch-show-hook precisely so I could add these two
options, but I suspect most people will want them, so I just made them
the default. If you don't want them, you can use remove-hook to get
rid of this.

Signed-off-by: Keith Packard <keithp@keithp.com>

Set truncate-lines variable for search buffers.

This keeps them from wrapping.

Signed-off-by: Keith Packard <keithp@keithp.com>

Add notmuch-show-hook to allow customization of show windows

I wanted to enable got-address-mode and visual-line-mode in my show
windows to make messages easier to read and URLs easier to
follow. This hook allows the user to run arbitrary code each time a
message is shown.

Signed-off-by: Keith Packard <keithp@keithp.com>

count_files: sort directory in inode order before statting

Carl says: This has similar performance benefits as the previous
patch, and I fixed similar style issues here as well, (including
missing more of a commit message than the one-line summary).

Minor style fixups for the previous fix.

Use consistent whitespace, a slightly less abbreviated identifier, and
avoid a C99 declaration after statement.

Read mail directory in inode number order

This gives a rather decent reduction in number of seeks required when
reading a Maildir that isn't in pagecache.

Most filesystems give some locality on disk based on inode numbers.
In ext[234] this is the inode tables, in XFS groups of sequential inode
numbers are together on disk and the most significant bits indicate
allocation group (i.e inode 1,000,000 is always after inode 1,000).

With this patch, we read in the whole directory, sort by inode number
before stat()ing the contents.

Ideally, directory is sequential and then we make one scan through the
file system stat()ing.

Since the universe is not ideal, we'll probably seek during reading the
directory and a fair bit while reading the inodes themselves.

However... with readahead, and stat()ing in inode order, we should be
in the best place possible to hit the cache.

In a (not very good) benchmark of "how long does it take to find the first
15,000 messages in my Maildir after 'echo 3 > /proc/sys/vm/drop_caches'",
this patch consistently cut at least 8 seconds off the scan time.

Without patch: 50 seconds
With patch: 38-42 seconds.

(I did this in a previous maildir reading project and saw large improvements too)

Make '?" bring up a list of bindings.

Just using describe-mode for now, (though something more specialized
would be better).

Fix linking with gcc to use g++ to link in C++ libs.

Previously, Ubuntu 9.10, gcc 4.4.1 was getting:

/usr/bin/ld: lib/notmuch.a(database.o): in function global
constructors keyed to BOOLEAN_PREFIX_INTERNAL:database.cc(.text+0x3a):
error: undefined reference to 'std::ios_base::Init::Init()'

notmuch main(): Remove stale comment.

The code this comment was referring to has since been deleted.

notmuch help: Print to stdout, not to stderr.

Let usage() take a FILE * argument so that you can output to stderr in
response to usage errors, and stdout in response to an explicit
request.

notmuch search: Avoid infinite stream of exceptions from "notmuch search"

That is, give a nice error message and exit if no search terms are
provided. Thanks to Priit Laes <plaes@plaes.org> for reporting the
error and providing an early version of the fix.

README: Mention the actual mailing list address now that it exists.

Much better than telling people to mail me individually.

Typsos

Older versions of install do not support -C.

Do not use -C cmdline option of install, older versions, commonly found in
distributions like Debian, do not seem to support it. Running make install
on such systems (tested on Debian Lenny) fails.

Signed-off-by: Jan Janak <jan@ryngle.com>

linke_message: Avoid segfault when In-Reply-to header is empty.

This was recently introduced in commit:

64c03ae97f2f5294c60ef25d7f41849864e6ebd3

which was adding extra checks to avoid adding a self-referencing
message.

How many times am I going to fix a dumb regression like this and say
"we really need a test suite" before I actually sit down and write the
test suite?

notmuch-completion.bash: Update for new commands and help.

Would be nice to add the options for "notmuch search" too.

notmuch help: Update documentation (following recent text from notmuch.1)

We take the recently created text from the notmuch manual page and
update the "notmuch help" command to use similar text. In particular,
we add a new "notmuch help search-terms" for documenting the search
syntax that is common to several commands.

notmuch.1: Fix a couple of typos.

Little things I noticed while using this text as reference for the
"notmuch help" documentation.

man.1: A big update of the notmuch manual page.

I set out merely to add documentation for the recently-added options
for "notmuch search" (--first, --max-threads, and --sort), but ended
up revamping a lot. A significant change is a new SEARCH SYNTAX
section separate from "notmuch search" that is referred to in the
documentation of search, show, reply, and tag.

Also many sections were updated to reflect recent changes, (such as
the dropping of the NOTMUCH_BASE environment variable, the addition of
the .notmuch-config file, etc.)

Makefile: Fix missing dependency for notmuch.1 manual page.

The Makefile was failing to regnerate the notmuch.1.gz file when
notmuch.1 was updated, (so stale documentation could potentially be
installed).

notmuch search: Change default search order to be newest messages first.

This is what most people want for a _search_ command. It's often
different for actually reading mail in an inbox, (where it makes more
sense to have results displayed in chronological order), but in such a
case, ther user is likely using an interface that can simply pass the
--sort=oldest-first option to "notmuch search".

Here we're also change the sort enum from NOTMUCH_SORT_DATE and
NOTMUCH_SORT_DATE_REVERSE to NOTMUCH_SORT_OLDEST_FIRST and
NOTMUCH_SORT_NEWEST_FIRST. Similarly we replace the --reverse option
to "notmuch search" with two options: --sort=oldest-first and
--sort=newest-first.

Finally, these changes are all tracked in the emacs interface, (which
has no change in its behavior).

notmuch search: Return first 100 results as quickly as possible.

This is one of those cases where total time is not the metric of
interest. We increase the total time of the search, (by doing some
redundant work for the initial threads). But more significantly, we
give the user *some* results nearly instantaneously, (so that the user
might see the result of interest without ever even waiting for the
complete results to come in).

Add some const correctness to talloc 'ctx' parameter.

The tentacles of const just keep reaching out.

database: Make _parse_message_id static once again.

We had exposed this to the internal implementation for a short time,
(only while we had the silly code fetching In-Reply-To values from
message files instead of from the database). Make this private again
as it should be.

database: Add "replyto" to the database schema documentation.

Maybe ths lack of this documentation is why I forgot we were actually
storing this and wrote the ugly code to fetch In-Reply-To from message
files rather than from the database.

database: Rename "ref" prefix name to "reference"

Which is more consistent with the XREFERENCE prefix used in the terms
in the database. Also remove some stale documentation describing the
removal of resolved references from the database (we no longer do
this).

message_file_get_header: Use break where more clear than continue.

Calling continue here worked only because we set a flag before the
continue, and, check the flag at the beginning of the loop, and *then*
break. It's much more clear to just break in the first place.

Fix "too many open files" bug by closing message files when done with them.

The message file header parsing code parses only enough of the file to
find the desired header fields, then it leaves the file open until the
next header parsing call or when the message is no longer in use. If a
large number of messages end up being active, this will quickly run
out of file descriptors.

Here, we add support to explicitly close the message file within a
message, (_notmuch_message_close) and call that from thread
construction code.

Signed-off-by: Keith Packard <keithp@keithp.com>
Edited-by: Carl Worth <cworth@cworth.org>:
Many portions of Keith's original patch have since been solved other
ways, (such as the code that changed the handling of the In-Reply-To
header). So the final version is clean enough that I think even Keith
would be happy to have his name on it.

notmuch show: Detect an internal error if a thread has no messages.

This really should be impossible---if there are no messages, then what
was the thread object created from? During recent debugging, it was
useful to have this error detected and reported.

add_message: Don't add any self-references to the database.

In our scheme it's illegal for any message to refer to itself, (nor
would it be useful for anything anyway). Cut these self-references off
at the source, before they trip up any internal errors.

message_get_thread_id: Generate internal error if message has no thread ID.

This case was happening when a message had its own message ID in its
In-Reply-To header. The thread-resolution code would find the
partially constructed message, (with no thread ID yet), get garbage
from this function, and then march right along with that garbage.

With this commit, a self-cyclic message like this will now trigger an
internal error rather than marching along silienty. (And a subsequent
commit will remove the call to this function in this case.)

Remove the talloc_owner argument from create_for_message_id.

This function has only one caller, and that one caller was passing the
same value for both talloc_owner and the notmuch database. Dropping
the redundant argument simplifies the documentation of this function
considerably.

get_in_reply_to: Implement via the database, not by opening mail file.

This reduces our reliance on open message_file objects, (so is a step
toward fixing the "too many open files" bug), but more importantly, it
means we don't load a self-referencing in-reply-to header, (since we
weed those out before adding any replyto terms to the database).

Makefile: Manual pages shouldn't be executable

Makefile: Change default install prefix from /usr to /usr/local, really

Makefile: Change default install prefix from /usr to /usr/local

We'll be a much more polite package this way. And the user can change
the prefix by editing Makefile.config. Still to be done is to make
configure write out Makefile.config and to add a --prefix option to
configure.

Makefile: Prefer directories as the target for install commands.

I was confusing myself with some rules installing to directories and
some installing to files. We do still install to a filename when
simultaneously renaming, (such as notmuch-completion.bash to notmuch).

Update .gitignore, add objects and static archives

Makefile: Create installation directories explicitly

Previously, notmuch.1.gz was installed as /usr/share/man/man1 (a file).

Deal with situation where sysconf(_SC_GETPW_R_SIZE_MAX) returns -1

Fix broken commit.

Oops. I should have actually compiled before pushing.

Include <stdint.h> to get uint32_t in C++ file with gcc 4.4

Signed-off-by: Mikhail Gusarov <dottedmag@dottedmag.net>

Close message file after parsing message headers

Keeping unused files open helps to see "Too many open files" often.

Signed-off-by: Mikhail Gusarov <dottedmag@dottedmag.net>

add_message: Avoid a memory leak when user holds on to message return.

When this function was originally written, the 'message' object was
always destroyed locally, so I thought it would be good to use a NULL
talloc context to make it more obvious if there was any leak.

Since then, however, this function has been changed to optionally
return the added message, and in that case we *don't* free the message
locally, so let's let the database be the talloc context.

notmuch_message_file_get_header returns "" for missing headers, not NULL

This makes notmuch reply fail to add From: addresses to the list of
recipients.

Signed-off-by: Keith Packard <keithp@keithp.com>

Use 'forward-line' instead of 'next-line' while walking search display

The documentation for 'next-line' suggests that 'forward-line' is a
better choice for non-interactive usage. That appears to be the case
here; using next-line caused emacs to spin forever for me.

Signed-off-by: Keith Packard <keithp@keithp.com>

notmuch.el: Consider an entire line of underscores as a signature separator.

This is the default separator used by mailman, so there's a lot of
clutter in thread displays without this. Also, we not provide a nice
variable to the user (notmuch-show-signature-regexp) for configuring
this.

notmuch.el: Insert a newline if the last line of a part is missing one.

I think there's a GMime bug that we're getting parts decoded without a
final newline (the encoded parts seem to have them just fine). We can
workaround the bug easily enough by finding a part-closing delimiter
that is not at the beginning of a line, and if so, just insert a
newline.

Without this, the one-line-summary of the next message would continue
on the same line as the last line of the previous message, (and this
would often happen for mailing-list messages where mailman would add
an extra part for its signature block).

notmuch restore was skipping entries with no new tags

notmuch restore used to only add tags; now that it clears existing
tags, it needs to operate on messages even if the new tag list is empty.

Signed-off-by: Keith Packard <keithp@keithp.com>
Reviewed-by: Carl Worth <cworth@cworth.org>:
I fixed up the indentation here, (someday we might switch to 8-space
indents, but we haven't yet).

notmuch.el: Display authors in a column separate from subject.

This makes it much easier to actually read the subject lines.

The user can set notmuch-search-authors-width to control the width of
the column.

Two possible ideas for improving this support further:

  1. Make the excess authors invisible instead of removing them from
     the buffer, (which means that isearch could still find them).

  2. Have the user variable control a percentage of the window width
  rather than being a fixed number of columns.

notmuch.el: Indent messages to show nested structure of thread.

Now that we're actually adding text to the buffer for the indentation,
our old aproach of using positions to record regions to manipulate is
now longer correct. Fortunately, it's easy to switch from positions to
markers which are robust, (just call point-marker instead of point and
all relevant functions accept markers as well as points).

I also finally fixed the bug where the text "[6 line signature]" we
display was causing the one-line-summary of the next message to be on
its same line rather than at the beginning of the next line where it
belongs.

notmuch show: Implement proper thread ordering/nesting of messages.

We now properly analyze the in-reply-to headers to create a proper
tree representing the actual thread and present the messages in this
correct thread order. Also, there's a new "depth:" value added to the
"message{" header so that clients can format the thread as desired,
(such as by indenting replies).

Minor whitespace touchup.

It's funny that I picked up the habit of always including a space
before a left parenthesis from Keith, and now he's in the habit of
contributing code without it.

Add _notmuch_message_get_in_reply_to.

The existing notmuch_message_get_header is *almost* good enough for
this, except that we also need to remove the '<' and '>'
delimiters. We'll probably want to implement this function with
database storage in the future rather than loading the email message.

Remove obsolete notmuch_message_get_subject prototype.

This prototype has been sitting around for a while with no function
implementing it. I wonder if there's a compiler warning I could turn
on to catch these things.

lib/messages: Add new notmuch_message_list_t to internal interface.

Previously, the notmuch_messages_t object was a linked list built on
top of a linked-list node with the odd name of notmuch_message_list_t.

Now, we've got much more sane naming with notmuch_message_list_t being
a list built on a linked-list node named notmuch_message_node_t. And
now the public notmuch_messages_t object is a separate iterator based
on notmuch_message_node_t. This means the interfaces for the new
notmuch_message_list_t object are now made available to the library
internals.

database: Fix a typo in a commit.

Nothing significant here, but we might as well not keep things
misspelled when we notice.

Export _parse_message_id to the library implementation.

Not exported through the public interface, but the thread code is
going to want to be able to parse In-Reply-To headers so needs access
to this code.

_thread_add_messages: Remove unused variable.

I'm not sure how I let this warning go by unfixed for a while. Fix
it now.

lib: Move notmuch_messages_t code from query.cc to new messages.c

The new object is simply a linked-list of notmuch_message_t objects,
(unlike the old object which contained a couple of Xapian iterators).
This works now by the query code immediately iterator over all results
and creating notmuch_message_t objects for them, (rather than waiting
to create the objects until the notmuch_messages_get call as we did
earlier).

The point of this change is to allow other instances of lists of
messages, (such as in notmuch_thread_t), that are not directly related
to Xapian search results.

notmuch_tags_advance: Make safe against excessive calls.

Previously, an excess call would have caused a crash. Now it simply
does nothing. Also, make notmuch_tags_get use a similar, consistent
early return for a NULL iterator.

notmuch.el: Add support for viewing MIME-encoded parts (with 'v').

Currently just supports viewing all MIME parts in the message. There's
not yet support for selecting and viewing individual parts, but that
should be easy to add from here, (now that we've found
mm-display-parts to do all the heavy lifting).

notmuch.el: Add an 'm' binding to start composing a new mail.

Available from either the "search" or the "show" view.

notmuch.el: Use require instead of load to get the cl functions.

Not only is "load" probably the wrong thing, but loading cl-seq befoe
cl can cause complaints anyway.

notmuch reply: Prefer "Reply-To" header over "From" for choosing recipient.

There are still open questions about how to correctly compute the
intended list of recipients. We'll probably need separate "reply to
sender" and "reply to all" commands at some point (unfortunately).

notmuch new/tag: Flush all changes to database when interrupted.

By installing a signal handler for SIGINT we can ensure that no work
that is already complete will be lost if the user interrupts a
"notmuch new" run with Control-C.

notmuch.el: Add a binding ('o') and command to toggle current search order.

This ended up being a bit easier than I thought. Just flip the controlling
variable and then run `notmuch-search-refresh-view'.

notmuch search: Fix thread dates to come only from matched messages.

We were properly sorting the threads based only on matched messages,
but we were displaying the date based on the total messages in the
thread, which led to inconsistent and very confusing results.

notmuch.el: Hook up support for different search orders.

This gives us two different default search orders: The inbox view that
comes up from "M-x notmuch" is sorted in chronological order (oldest
threads first). A new global search "M-x notmuch-search" will instead
be in reverse chronological order (newest threads first).

Any filtered searches retain the sort order of the search being
filtered.

There's not yet any interface for changing the sort order of a search
after it is constructed.

notmuch search: Add support for a --reverse option to reverse sort order.

Note that the difference between thread results in date order and
thread results in reverse-date order is not simply a matter of
reversing the final results. When sorting in date order, the threads
are sorted by the oldest message in the thread. When sorting in
reverse-date order, the threads are sorted by the newest message in
the thread.

This difference means that we might want an explicit option in the
interface to reverse the order, (even though the default will be to
display the inbox in date order and global searches in reverse-date
order).

Makefile: Fix dependency generation for files in sub-directories.

Otherwise, things in the lib sub-directory weren't getting recompiled
even when lib/notmuch.h was changed.

The original rule we were using came from the GNU Makefile manual, but
only handled files in the current directory, not file in
sub-directories as we use here with our non-recursive Makefile.

So the .deps files being created were being put in the right place,
(such as .deps/lib/database.d), but the compiler was generating a
dependency for "database.o" rather than "lib/database.o" like we
want. We were already trying to do a sed job on that name to add a
dependency for the .d file as well. But the sed job was failing since
the expected pattern wasn't there, (the directory name was missing).

So the fix is simply to use basename to construct the search pattern,
and then use the name with the directory in the replacement (rather
than the back-reference).

notmuch search: Print the number of matched/total messages for each thread.

Note that we don't print the number of *unread* messages, but instead
the number of messages that matched the search terms. This is in
keeping with our philosophy that the inbox is nothing more than a
search view. If we search for messages with an inbox tag, then that's
what we'll get a count of. (And if somebody does want to see unread
counts, then they can search for the "unread" tag.)

Getting the number of matched messages is really nice when doing
historical searches. For example in a search like:

notmuch search tag:sent

(where the "sent" tag has been applied to all messages originating
from the user's email address)---here it's really nice to be able to
see a thread where the user just mentioned one point [1/13] vs. really
getting involved in the discussion [10/29].

Use $(MAKE) when invoking make from make.

Without this, things like MAKEFLAGS=-j4 can't work.

notmuch search: Avoid printing duplicate author names.

We add a hash to the thread object so that we can detect author names
that have already been added to the list, and avoid adding them
redundantly. This avoids the giant chain of "bugzilla-daemon,
bugzilla-daemon, bugzilla-daemon, bugzilla-daemon, ..." author lists
that we would get otherwise, for example.

notmuch search: Print all authors contributing to a thread.

We've now expanded the notmuch_thread_create function to fire off a
secondary database query to find all the messages that belong to this
particular thread. This allows us to now have the complete authors'
list for the thread, and will also make it trivial to print accurate
message counts for threads in the future.

notmuch search: Add --first and --max-threads options for incremental search.

This time, things are actually tested. The current results aren't
exactly the same as previous results since the incremental search
doesn't necessarily see all the new messages that pertain to the
thread. This means that some author names are missing.

I plan to fix this by doing an additional database search for all
messages in each thread. Of course, this will also be different than
before since now the result will display *all* authors in the thread
(rather than only those that matched the search) but that's probably
what we really want to display anyway.

notmuch_query_search_threads: Avoid returning more threads than asked for.

I thought it would be safe enough to return a few extra threads,
(since we happened to already get the relevant messages out of the
database). The problem is that then requires the caller to carefully
read the number of threads returned and adjust its next "first" value
accordingly. The interface is much simpler to use if we simply return
exactly what is asked for and no more.

notmuch search: Fix a second bug in the change to support incremental searches.

The search was dropping the first thread from the results.

When am I going to break down and write a test suite? It's long
overdue now.

notmuch search: Fix to actually return something.

This serves me right for committing untested code. The
notmuch_query_search_threads was totally broken, (it didn't properly
treat -1 as being unlimited and instead returned no threads in that
case).

libnotmuch: Underlying support for doing partial-results searches.

The library interface now allows the caller to do incremental searches,
(such as one page of results at a time). Next we'll just need to hook
this up to "notmuch search" and the emacs interface.

notmuch.el: Remove functions to show/hide thread IDs.

I wrote these originally jsut for debugging. They've never been hooked
up to any keybinding and the existing "M-x visible-mode" does what's
needed anyway.

notmuch reply: Add Bcc to the user's primary email address.

The user really wants a copy of all outbound messages to come back
in.