New function notmuch-search-operate-all: operate on all messages in the current query.

It is often convenient to change tags on several messages at once.  This
function applies any number of tag whitespace-delimited tag
modifications to all messages matching the current query.

I have bound this to `*'.

Signed-off-by: Jed Brown <jed@59A2.org>

Return unpropertized strings for filename and message-id

notmuch.el: Use variable notmuch-search-oldest-first to decide the search order

Make sure we use notmuch-search-oldest-first to decide the how
the search result should be displayed. This helps to set the
value to nil and have latest mail shown first

Signed-off-by: Aneesh Kumar K.V <aneesh.kumar@linux.vnet.ibm.com>

TODO: A read-only file in the mail store should be a warning, not an error.

It's a bug that processing currently stops when it hits a read-only
file. This is yet another case we'll want our test suite to cover.

notmuch.el: When removing tags, offer only those a msg/thread has set.

When removing a tag from a message or thread, build a completion buffer
which contains only tags that the message or thread has really set.

Signed-off-by: Jan Janak <jan@ryngle.com>

search-tags: Add support for search-terms.

This patch adds support for search-terms to 'notmuch search-tags'. If
no search-term is provided then the command returns a list of all tags
from the database.

If the user provides one or more search-terms as arguments then the
command collects tags from matching messages only.

This could be used by functions in the Emacs mode to further limit the
list of tags offered for completion. For example, functions that remove
tags from message(s) could offer only tags present in the message(s).

Signed-off-by: Jan Janak <jan@ryngle.com>

lib: New function to collect tags from a list of messages.

This patch adds a new function that can be used to collect a list of
unique tags from a list of messages. 'notmuch search-tags' uses the
function to get a list of tags from messages matching a search-term,
but it has the potential to be used elsewhere so we put it in the lib.

Signed-off-by: Jan Janak <jan@ryngle.com>

notmuch.el: Select tag names with completion.

Several commands ask the user for a tag name. With this feature the
user can just press tab and Emacs automatically retrieves the list of
all existing tags from notmuch database with 'notmuch search-tags' and
presents a completion buffer to the user.

This feature is very useful for users who have a large number of tags
because it saves typing and minimizes the risk of typos.

Signed-off-by: Jan Janak <jan@ryngle.com>

notmuch: New command 'search-tags'.

This is a new notmuch command that can be used to search for all tags
found in the database. The resulting list is alphabetically sorted.

The primary use-case for this new command is to provide the tag
completion feature in Emacs (and other interfaces).

Signed-off-by: Jan Janak <jan@ryngle.com>

notmuch: New function to retrieve all tags from the database.

This patch adds a new function called notmuch_database_get_all_tags
which can be used to obtain a list of all tags from the database
(in other words, the list contains all tags from all messages). The
function produces an alphabetically sorted list.

To add support for the new function, we rip the guts off of
notmuch_message_get_tags and put them in a new generic function
called _notmuch_convert_tags. The generic function takes a
Xapian::TermIterator as argument and uses the iterator to find tags.
This makes the function usable with different Xapian objects.

Function notmuch_message_get_tags is then reimplemented to call the
generic function with message->doc.termlist_begin() as argument.

Similarly, we implement notmuch_message_database_get_all_tags, the
function calls the generic function with db->xapian_db->allterms_begin()
as argument.

Finally, notmuch_database_get_all_tags is exported through
lib/notmuch.h

Signed-off-by: Jan Janak <jan@ryngle.com>

modify notmuch_setup_command to return 1 if config file write fails.

This fixes a small bug in notmuch_setup_command such that it returned
OK and output the setup message footer even if the config file write
step failed.

Testing.

notmuch.el: Remove some dead code.

This was left over from before the switch to using a filter for
processing the results of "notmuch search".

notmuch.el: Quote arguments to protect from shell interpretation.

We want to allow the user to be able to use search expressions with
parentheses and semi-colons, etc. and we definitely don't want the
shell interpreting those!

notmuch.el: Exceute "notmuch search" asynchronously.

Previously, our emacs interface was waiting for the "notmuch search"
to complete before it would display anything. Now, we execute the
process asyncrhonously and filter results as they come in.

This takes advantage of the recent work to make "notmuch search"
results stream out steadily. The result is that some search results
will be available nearly instantly and the user can navigate and view
those while additional results continue loading.

Merge buttons-for-body-and-headers branch.

Thanks, Alexander!

Remove the global expand body keymapping

With local buttons done now, we don't need this anymore.

lib/messages.c: Make message searches stream as well.

Xapian provides an interator-based interface to all search results.
So it was natural to make notmuch_messages_t be iterator-based as
well. Which we did originally.

But we ran into a problem when we added two APIs, (_get_replies and
_get_toplevel_messages), that want to return a messages iterator
that's *not* based on a Xapian search result. My original compromise
was to use notmuch_message_list_t as the basis for all returned
messages iterators in the public interface.

This had the problem of introducing extra latency at the beginning
of a search for messages, (the call would block while iterating over
all results from Xapian, converting to a message list).

In this commit, we remove that initial conversion and instead provide
two alternate implementations of notmuch_messages_t (one on top of a
Xapian iterator and one on top of a message list).

With this change, I tested a "notmuch search" returning *many* results
as previously taking about 7 seconds before results started appearing,
and now taking only 2 seconds.

Make bodies locally toggleable

Having actually implemented this, I realized that my
initial approach of providing a function to configure
a button was wrong. Instead I've replaced that with
button types. This then makes it possible to provide
the fully expanded view when all threads in a message
are unread.

It also has the potential to allow global-expansion functions
if that is desireable

make a nice function for generating invisibility toggle buttons

I realized I was replicating this code over and over again, so this
way if I change my mind about something I only have to do it on one
place.

cleanup a lot of left-overs from the global invis

Basically I'd left in a lot of the key-bindings and all the
invisiblity spec variables so just rid the world of those

make headers locally expandable/collapsable

This is the same as with citations and signatures.
I used an ellipsis here for the invisible region, which
I think make it more obvious that there are extra headers.
MH-e used this for extra long To/CC headers.

lib/query: Drop the first and max_messages arguments from search_messages.

These only existed to support the chunky-searching hack, but that
was recently dropped anyway.

lib/query: Fix notmuch_threads_t to stream results rather than blocking.

Previously, notmuch_query_search_threads would do all the work, so the
caller would block until all results were processed. Now, we do the
work as we go, as the caller iterates with notmuch_threads_next. This
means that once results start coming back from "notmuch search" they
just keep continually streaming.

There's still some initial blocking before the first results appear
because the notmuch_messages_t object has the same bug (for now).

notmuch search: Remove the chunked-searching hack.

This was a poor workaround around the fact that the existing
notmuch_threads_t object is implemented poorly. It's got a fine
iterartor-based interface, but the implementation does all of the
work up-front in _create rather than doing the work incrementally
while iterating.

So to start fixing this, first get rid of all the hacks we had working
around this. This drops the --first and --max-threads options from the
search command, (but hopefully nobody was using them
anyway---notmuch.el certainly wasn't).

notmuch.el: Add TAB and M-TAB buttons to move between buttons.

Thanks to Alexander Botero-Lowry for pointing out the interesting
functions to use here. This functionality was really easy to add.

Fix printing of literal '%' in help message.

I suppose I could have just used puts instead...

Make addresses case insensitive for the purpose of constructing replies.

The domain is alway case insensitive, but in principle the username is
case sensitive.  Few systems actually enforce this so I think a good
default is to treat the entire address as case insensitive, it will
eliminate a lot of superfluous self-addressed messages and reply from
the correct address in these cases.

Signed-off-by: Jed Brown <jed@59A2.org>

Stay out of tmp to respect the Maildir spec.

search : Extend "intial burst" optimization to return all results by chunks

This way, the user gets a steady (but bursty) stream of reults. We
double the chunk size each time since each successive chunk has to
redo work from all previous chunks.

Of course, the overall time is thereby slower, as the price we pay for
increased responsiveness. With a search returning about 17000 thread
results I measured a total time of 48.8 seconds before this change and
58.4 seconds afterwards.

Add rudimentary date-based search.

The rudimentary aspect here is that the date ranges are specified with
UNIX timestamp values (number of seconds since 1970-01-01 UTC). One
thing that can help here is using the date program to determins
timestamps, such as:

$(date +%s -d 2009-10-01)..$(date +%s)

Long-term, we'll probably need to do our own query parsing to be able
to support directly-specified dates and also relative expressions like
"since:'2 months ago'".

Add notmuch-folder mode to provide an overview of search matches

Folder mode takes a (user-configurable) list of search patterns and
produces a list of those patterns and the count of messages that they
match. When an entry in this list is selected, a search window with
the defined search is opened.  The set of folders is defined as a
list, each element contains the name of the folder and the query string
to count.

Signed-off-by: Keith Packard <keithp@keithp.com>

Add 'notmuch count' command to show the count of matching messages

Getting the count of matching threads or messages is a fairly
expensive operation. Xapian provides a very efficient mechanism that
returns an approximate value, so use that for this new command.

This returns the number of matching messages, not threads, as that is
cheap to compute.

Signed-off-by: Keith Packard <keithp@keithp.com>

Make mouse-1 click in search view show thread

Selecting text in the search view isn't all that useful, so instead,
make mouse-1 clicks actually show the thread you click on. It's almost
like direct manipulation or something.

Signed-off-by: Keith Packard <keithp@keithp.com>

TODO: Yet another idea.

This is an idea I've had "forever" (and is commented as such in the
code already), but just came up on the mailing list. So note it here.

ANSI escapes in "new" only when output is a tty

When running "notmuch new --verbose", ANSI escapes are used. This may not be
desirable when the output of the command is *not* being sent to a terminal
(e.g. when piping output into another command). In that case each file
processed is printed in a new line and ANSI escapes are not used at all.

fix notmuch-new bug when database path ends with a trailing /

I configured my database.path with a trailing /, and after running notmuch
new every notmuch search would fail with error messages like this:

  Error opening /inbox/cur/1258565257.000211.mbox:2,S: No such file or directory

The actual bug was in the filename normalization for storage in the
database.  The database.path was removed from the full filename, but if
the database.path from the config file contained a trailing /, the
relative file name would retain an extra leading /... which made it look
like an absolute path after it was read out from the DB.

Signed-off-by: Bart Trojanowski <bart@jukie.net>

TODO: Add a couple of notes about things to do with/to Xapian.

I had these notes sitting in an uncommitted file that was cluttering
up my "git status" output. This cleans that up, and also shares the
ideas with the wider community.

makefile: Declare clean target as phony.

This ensures that make clean always proceeds, even if the user
accidentally creates a file named 'clean'. Also, it ignores errors in
rm and other commands.

Signed-off-by: Jan Janak <jan@ryngle.com>

TODO: Capturing even more ideas.

Hopefully soon I can start implementing ideas rather than just writing
them down.

TODO: A couple of more ideas for improving the emacs interface.

We're not likely to run out of work to do anytime soon...

Support multiple configuration files via $NOTMUCH_CONFIG

If present, $NOTMUCH_CONFIG will be used as the configuration file
location.

TODO: Add several ideas for improving the emacs interface.

These are from email messages on the notmuch mailing list and from
IRC conversations in #notmuch.

Insert signature into replies

When you compose a new message, message mode carefully inserts your
mail signature at the bottom of the message; as notmuch constructs the
reply all by itself, this doesn't happen then. Use the message mode
function 'message-insert-signature' to add that to reply buffers.

Signed-off-by: Keith Packard <keithp@keithp.com>

Quote file names passed to the shell

Prior to this, notmuch-show-pipe-message could not handle file names
with spaces and similar.

Support for printing file paths in new command

For very large mail boxes, it is desirable to know which files are being
processed e.g. when a crash occurs to know which one was the cause. Also,
it may be interesting to have a better idea of how the operation is
progressing when processing mailboxes with big messages.

This patch adds support for printing messages as they are processed by
"notmuch new":

* The "new" command now supports a "--verbose" flag.

* When running in verbose mode, the file path of the message about to be
  processed is printed in the following format:

    current/total: /path/to/message/file

  Where "current" is the number of messages processed so far and "total" is
  the total count of files to be processed.

  The status line is erased using an ANSI sequence "\033[K" (erase current
  line from the cursor to the end of line) each time it is refreshed. This
  should not pose a problem because nearly every terminal supports it.

* The signal handler for SIGALRM and the timer are not enabled when running
  in verbose mode, because we are already printing progress with each file,
  periodical reports are not neccessary.

Merge remote branch 'drax/master'

switch to button-1, which seems to interact poorly with text-selection by mouse

TODO: Add a bunch of ideas that have been on my mind lately.

So get these out of my mind and out to the user community.

instead of trying to cause a redisplay, actually do a redisplay

put a newline after the headers

make header names bold in show-mode

Make expanding/collapsing signatures and citations local to them

This is the first step towards localizing all the expand/collapse
operations in the show buffer

buttonize signatures as well

Buttonize citation expander.

Currently the button has no action or special handling at all.

notmuch-show: Show message part using UTF-8.

Pass the message through the charset filter so that we can view
messages wrote in different charset encoding.

Signed-off-by: Kan-Ru Chen <kanru@kanru.info>

Missing final semi-colon in .desktop's Categories.

"Those keys which have several values should have a semicolon as the trailing
character."
  -- http://standards.freedesktop.org/desktop-entry-spec/1.0/ar01s03.html

Signed-off-by: James Rowe <jnrowe@gmail.com>
Reviewed-by: Jeffrey C. Ollie <jeff@ocjtech.us>

Fix invalid face reference.

To avoid the "Invalid face reference: cons [18 times]" kind of message
goes on and on in the *Messages*.

Signed-off-by: Kan-Ru Chen <kanru@kanru.info>

notmuch-new: Only print the regular progress report when on a tty

Check that the stdout is connected to an interactive terminal with
isatty() before installing the periodic timer to print progress reports.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

notmuch-new: Only install SIGALRM if not running under gdb

I felt sorry for Carl trying to step through an exception from xapian
and suffering from the SIGALARMs..

We can detect if the user launched notmuch under a debugger by either
checking our cmdline for the presence of the gdb string or querying if
valgrind is controlling our process. For the latter we need to add a
compile time check for the valgrind development library, and so add the
initial support to build Makefile.config from configure.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>
Reviewed-by: Carl Worth <cworth@cworth.org>
[ickle: And do not install the timer when under the debugger]

lib/database.cc: coding style

Carl claims he must have been distracted when he wrote this...

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

Makefile: Fix to work even with GZIP environment variable set.

The rule here was written to assume that if the GZIP environment
variable was set that it would be the gzip binary to execute,
(similar to the CC and CXX variables). But GZIP is actually used
to pass arguments to gzip, so we have to use a different name.

Makefile: Magic silent rules.

Use the facilities of GNU make to create a magic function that will
on the first invocation print a description of how to enable verbose
compile lines and then print the quiet rule.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>
Signed-off-by: Carl Worth <cworth@cworth.org>
Cc: Mikhail Gusarov <dottedmag@dottedmag.net>
[ickle: Rebased, and duplicate command string eliminated.]
[ickle: Fixed verbose bug pointed out by Mikhail]

add_message: Use sha-1 in place of overly long message ID.

Since Xapian has a limit on the maximum length of a term, we have
to check for that before trying to add the message ID as a term.

This fixes the bug reported by Mike Hommey here:

<20091120132625.GA19246@glandium.org>

I've also constructed 20 files with a range of message ID lengths
centered around the Xapian term-length limit which I'll use to seed a
new test suite soon.

get_timestamp: Ensure that return value is 0 in case of exception.

Just to be on the safe side of things.

Catch and optionally print about exception at database->flush.

If an earlier exception occurred, then it's not unexpected for the
flush to fail as well. So in that case, we'll silently catch the
exception. Otherwise, make some noise about things going wrong at the
time of flush.

Add a missing print after catching an exception.

Without this, trying to debug this exception was *really* confusing.

Print information about where Xapian exception occurred.

Previously, our Xapian exception reports where identical so they
were hard to track down.

notmuch-config: Fix memleaks.

While talloc is great we need to free the g_error by hand.

Tested-by: Stefan Schmidt <stefan@datenfreihafen.org>
Signed-off-by: Holger Freyther <zecke@selfish.org>

notmuch new: Fix to actually open the database READ_WRITE.

Chris claims he must have been distracted when he wrote this.

Fix freak case problem that broke the compile.

I think I must have bumped some emacs keybinding that changed the case
of a word here.

Rename NOTMUCH_DATABASE_MODE_WRITABLE to NOTMUCH_DATABASE_MODE_READ_WRITE

And correspondingly, READONLY to READ_ONLY.

Permit opening the notmuch database in read-only mode.

We only rarely need to actually open the database for writing, but we
always create a Xapian::WritableDatabase. This has the effect of
preventing searches and like whilst updating the index.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>
Acked-by: Carl Worth <cworth@cworth.org>

INSTALL/notmuch.el: More details on how to install/run notmuch.el

Hopefully this will save some people some head-scratching trying
to figure out how to use it.

INSTALL: emacs install dokumentation.

Write down the steps needed to install and actuall use notmuch in emacs. Should
help emacs newbies.

Signed-off-by: Stefan Schmidt <stefan@datenfreihafen.org>

Revert "notmuch: Add Maildir directory name as tag name for messages"

This reverts commit 9794f19017e028b542ed715bef3fd7cf0da5edff.

The feature makes a lot of sense for the initial import, but it's not
as clear whether it makes sense for ongoing "notmuch new" runs. We
might need to make this opt-in by configuration.

TODO: Add notes on portability, and remove completed tasks.

It's better to have things in TODO rather than mails with a todo
tag in my notmuch database.

TODO: Several updates.

INSTALL: Mention that xapian-config might be named xapian-config-1.1

As reported on the mailing list.

notmuch: Add Maildir directory name as tag name for messages

This patch adds maildir directory name as the tag name for
messages. This helps in adding tags using filtering already
provided by procmail.

Signed-off-by: Aneesh Kumar K.V <aneesh.kumar@linux.vnet.ibm.com>

Makefile: Fix the fallback emacs install path.

When pkg-config can't be used to find out where to install emacs
files, we fallback to a hard-coded directory. Only, we were falling
back to the wrong thing, (one that emacs doesn't look into by
default).

Drop redundant CFLAGS, was already included in CXXFLAGS

notmuch reply: Include text parts in reply, even with disposition attachment.

If it's text, (such as a patch), then I want it quoted in my reply,
(so that I can comment on it).

notmuch show: Don't hide text parts, even with disposition attachment.

If it's text, (such as a patch), then I want to see it.

notmuch show: Don't hide a digital signature.

This was a bug that was introduced in copying the indexing code over
into notmuch-show.c. When indexing, we want to ignore the signature,
(it has no interesting terms). But when presenting the message, it's
important to present the signature to the user.

(And would be even better if we presented whether or not the signature
is good.)

notmuch.el: Don't use end-of-buffer which is inappropriate from programs

The documentation is quite clear about this case.

With this, we can now byte compile without warnings.

notmuch.el: Fix stale reference to non-existing variable.

We changed from "query" to "thread-id" a while ago, and broke this
error message at the time. Fix it now.

notmuch.el: Add many missing defvar calls.

Without these, emacs was complaining about "assignment to free variable",
(though only when byte compiling, which is why we didn't notice earlier).

When a search query triggers a Xapian exception, log what the query was.

In my script containing a series of queries to be run on new mail for
setting up tags, it's nice to see which query I typed wrong.

Signed-off-by: Eric Anholt <eric@anholt.net>

Make bash completion directory configurable.

Some systems install completion scripts in /usr/share/bash-completion, make the
location configurable from Makefile.config.

add_message: Re-fix handling of non-mail files.

More fallout from _get_header now returning "" for missing headers.

The bug here is that we would no longer detect that a file is not an
email message and give up on it like we should.

And this time, I actually audited all callers to
notmuch_message_get_header, so hopefully we're done fixing this
bug over and over.

notmuch_database_add_message: Add missing error-value propagation.

Thanks to Mike Hommey for doing the analysis that led to noticing that
this was missing.

add_message: Properly handle missing Message-ID once again.

There's been a fair amount of fallout from when we changed
message_file_get_header from returning NULL to returning "" for
missing headers. This is yet more fallout from that, (where we were
accepting an empty message-ID rather than generating one like we want
to).

Checkin some command-only tcsh completions

Modified-by Carl Worth <cworth@cworth.org>: Just moved the file down
into contrib where the other completion scripts are.

bash-completion: Move to contrib

Signed-off-by: Ingmar Vanhassel <ingmar@exherbo.org>

zsh-completion: Initial zsh-completion for notmuch

Signed-off-by: Ingmar Vanhassel <ingmar@exherbo.org>

Add notmuch.1.gz to files to be cleaned

Signed-off-by: Mikhail Gusarov <dottedmag@dottedmag.net>

TODO: Add a couple of notes about fixing the completion script.

I'm throwing away a half-finished fix of this now, and just want to
ensure I don't forget about it.

Makefile: Make object targets depend on Makefiles

All objects need to be recompiled when any of the Makefiles changes, so
we make them all depend on all the Makefiles.

Signed-off-by: Jan Janak <jan@ryngle.com>

Allow to redefine notmuch binary name and path in elisp mode

Signed-off-by: Mikhail Gusarov <dottedmag@dottedmag.net>