notmuch.el: Allow for scrolling backwards through thread with DEL

Otherwise known as "Backspace" on keyboards in the real, (rather than
emacs), world. This will go by screenfuls for long messages, and
message by message for short messages. So it does the reverse of the
magic space bar, (but without reversing any tag-changing magic that
the magic space bar might have done).

notmuch.el: Add 'w' binding to view raW email message.

This takes advantage of the new filename output just added to "notmuch
show".

notmuch show: Add filename to output (next to message ID).

This will allow a client using "notmuch show" to directly open the
filename and do whatever it wants with it.

notmuch.el: Don't use defvar for undocumented variables.

Make at least some attempt to distinguish internal variables from
those that the user is expected to fiddle with.

notmuch.el: Don't hide long signatures.

Chances are, a signature above a certain threshold isn't just a
signature, (for example, it could be an encrypted messages tacked onto
the end of the file, or could be any sort of PS.)

We add a new variable, notmuch-show-signature-lines-max that can be
used to configure the threshold, (set to 6 by default for now).

notmuch.el: Fix to claim correct number of lines for hidden signature.

Previously, it was reporting that all signatures were 0 lines.

notmuch.el: Don't hide message bodies when all messages are read.

Presumably the user is trying to view this thread for a reason, so
it's better to actually show *something* rather than just the summary
lines.

notmuch show: Fix misplaced g_object_unref leading to error message.

We were inadvertently calling g_object_unref on a wild pointer leading
to the following error message:

GLib-GObject-CRITICAL **: g_object_unref: assertion
`G_IS_OBJECT (object)' failed

Now, why glib doesn't abort on critical errors, I'll never understand.

notmuch.el: Make notmuch-search scroll commands move to first/last message.

If there's nothing to scroll but we're not yet on the first or last
message then move point to that message.

notmuch.el: Override next-line and previous-line to make them reliable.

I noticed that these functions would sometimes leave point on an
invisible character[*]. The problem would be that point would appear
to be on a particular message, but adding or removing a tag would
actually add/remove a tag from the *previous* message.

Fix the C-n and C-p keybindings at least to call the underlying
command and then advance to a visible character. We set this-command
in our overrides so that the temporary-goal-column feature still
works.

[*] The documentation says that command loop is supposed to move point
outside of any invisible region when a command exits. But apparently
not.

notmuch.el: Un-break the magic space bar to scroll a long, single message.

Clearly some recent code was very fragile, which I noticed in that the
space bar would no longer scroll a long message if it was the only
message in a thread.

This resulted in a lot of churn, but hopefully things are more robust
now, (for example by using new predicates like
notmuch-show-last-message-p rather than doing heuristics based on
(eobp) or (window-end)).

As usual, the presence of invisible characters complicates the task of
making this stuff robust.

notmuch.el: Fix to show *something* when all messages are already read.

With the recent change of showing the first unread message, we would
scroll down to the end of the buffer if all messages were already
read. This would confusingly show nothing visible in the window.

Instead, detect this case and move to the beginning of the buffer.

notmuch.el: Make magic space bar advance to next unread messages.

The magic of the space bar is all about unread messages, so there's no
reason for it to advance to messages that have already been read.

Similarly, we now remove any magic from (n)ext so that it simply
advances to the next message without marking anything read, (which
makes it symmetrical with (p)revious).

notmuch.el: Move to first unread message on notmuch-show.

This is important for when a new message is delivered to an existing
enormous thread.

notmuch.el: Make next-message move to end of buffer after last message.

We need an easier way to detect when we're done with the last message
so taking advantage of the end-of-buffer position helps here.

notmuch.el: Leave a blank line after last thread in search.

This allows for pleasant termination of the "show next thread" magic
in notmuch-show mode. Now, it will terminate and show the
notmuch-search results rather than continually displaying the last
thread over and over.

notmuch.el: Move "show next thread" from magic-space-bar to archive-thread

If I explicitly hit the 'a' key before reading the whole thread, I
still want to advance to the next thread in my search.

notmuch.el: More magic for magic space bar: Show next thread from search.

This is implemented by stashing away the parent notmuch-search buffer
into a variable within the notmuch-show buffer. Then, when magic space
bar triggers an archive of the current thread, it switches to the parent
search buffer and shows the next thread.

notmuch.el: notmuch-search: Advance to next line before showing thread.

The idea here is that after viewing the thread, when we come back to
this buffer we'll be all ready to view the next thread.

notmuch.el: Make archive-thread more efficient for already archived messages.

The approach here is to move the optimization from mark-read to the
more general remove-tag. Namely, don't call out to a "notmuch tag"
command to remove a tag that's not there already.

notmuch.el: Make the magic spacebar archive a thread in the end.

Next all it needs to do is kill the buffer and show the next thread.

notmuch.el: Start implementing the magic space bar.

Currently this will either advance by screenfuls, or to the next
message if it's already within a screenful, and will mark each message
read as it is left.

It doesn't yet complete the magic by archiving the messages nor by
advancing to the next thread in the search.

notmuch.el: Fix to hide citations in body of read messages.

Previously, unhinding a read message would still show all the citations
in that message without an explicit command to make them visible. Fix.

notmuch.el: Redefine behavior of notmuch-show-previous-message

Now, if the user has manually moved point to somewhere within a
message, executing the previous-message command onece will rewind
point only to the beginning of the current message. Previously this
would go back to the previous message, (which the user can now do
easily and naturally by simply executing the command one more time).

notmuch.el: Fix notmuch-snow-next-message when on the last message.

Before this just brought the current line to the top of the
window. Now it actually moves to the beginning of the current message.

This is built on a much more solid foundation now with a function to
move to the summary-line of the current message, and then moving from
there.

notmuch.el: Add more complete documentation to the major modes.

These now provide a summary of the most useful features/bindings
as well as a complete printout of the relevant mode maps to show
all available keybindings.

notmuch.el: Make archive-thread advance to next line.

This is the command in notmuch-search mode and it's cer convenient
for it to advance to the next line there. (It would be even more
convenient if it didn't also take forever, but as mentioned before
that's an issue we'll need to fix in Xapian.)

notmuch.el: Add 't' binding to filter results to a specific tag.

This is a convenience function to avoid having to type "tag:" with
the (f)ilter command.

notmuch.el: Add bindings for scrolling to notmuch-search mode.

We turn on the scroll-preserve-screen-position option which seems
like what's desired here, (though that's not what I normally use
when editing files---but I think scrolling through a list of email
threads is different).

Drop inapplicable copyright statements.

I had put these in here since I had originally planned to copy
liberally from the body of the implementation of 'compile in order
to get process output into a buffer. But once I found call-process
in the documentation of emacs, that was all I needed.

And all the code I've written since has been entirely my own with
just the help of emacs documentation.

notmuch-el: Fix implementation of show/hide-thread-ids.

I'm definitely more comfortable with the add-to-invisibility-spec
now than I was when I first wrote these functions, (which weren't
working at all).

notmuch.el: Add command to (a)rchive a thread from notmuch-show mode.

This is our first race-free implementation of archive-thread! It
acts only on the messages explcitly contained in the buffer, not
on an entire thread ID, so it's safe in the face of new messages
have been delivered for this thread since the view was made.

notmuch.el: Don't try to remove an "unread" tag that's not there.

This optimization wouldn't be necessary if we had a nice fast "notmuch
tag" command. But since it's currently fairly slow, (see Xapian defect
250: http://trac.xapian.org/ticket/250), we're willing to take some
extra care to avoid calling "notmuch tag" unnecessarily.

notmuch show: Remove custom "unread" hack, (printing tag in two locations).

I previously had a hack that special-cased the "unread" tag and
printed it on the same line as the message ID. But now that we are
printing all tags at the end of the one-line summary we don't need
this anymore. Get rid of it, and just read "unread" from the list of
tags just like any other tag.

notmuch.el: Add + and - bindings to add/remove tags from messages.

This is in notmuch-show mode rather than in notmuch-search mode,
(where we had + and - working already). This gives the same visual
feedback as in notmuch-search-mode, (the tags are manipulated first in
the database and then the list of tags in the buffer is updated).

notmuch show: Print tags for each message.

This is in the one-line summary so should always be visible even
in our emacs client that's so eager to make things invisible.

notmuch.el: Preserve current thread when refreshing search results.

Otherwise, try to keep point in the same place, (such as when the
current thread has been archived away).

notmuch.el: Add an '=' key to refresh the current view.

This will allow for updates when a separate process (say, a notmuch-
show buffer), has archived messages.

notmuch.el: Mark messages read when the (n)ext keybinding is pressed

Of course, technically, we're removing the "unread" tag, but you
get the idea. :-)

notmuch.el: Hide citations and signatures.

The user can make these visible again by pressing 'c' or 's',
(though we'd like to move to direct manipulation instead soon).

Hide bodies of message that have already been read.

Also hide all markers.

From here, all we really need for legibility is the following:

  * Hide away citations and signatures

  * Call out the one-line summary some way, (larger font size?)

  * Add nesting for replies

notmuch.el: Hide email headers by default.

The display of the header can be toggled with the 'h' key.

notmuch show: Switch to control character to mark sections of output

We were previously using things like "%message{" which were not
guaranteed to never appear in an email message. Using a control
character (^L or '\f' instead of '%') gives us better assurance that
our delimiter doesn't show up in an original email message.

This still isn't entirely safe since we're decoding encoded text in
the body of the email message so almost all bets are off really.

notmuch.el: Make 'n' and 'p' bring the current message to the top.

This is much more convenient for reading the messages, and happens
to match the behavior of sup.

notmuch.el: Add (n)ext and (p)revious bindings to notmuch-show mode.

Almost starting to get usable now. Still need to make it mark messages
as they are read, (by removing the unread tag), and selectively hiding
the full header.

TODO: Add an idea from talking with keithp on the train.

I mentioned the read-only directory optimization to Keith, and he
liked it but wanted to be able to configure it to be fully automated.

notmuch.el: Add '<' and '>' bindings to goto first/last thread.

Also, take care to remove a final blank line to avoid the point
going beyond the last thread in the buffer.

TODO: Organize tasks based on emacs interface, command-line tool, or library.

There are conceptually three different projects here, so it helps
to keep the tasks for each separated.

notmuch.el: Add commands to (s)earch globally, and (f)ilter a search

Also add 'q' and 'x' keybindings to kill the current buffer.

Tweak relative dates to be close to the same length.

Most all of the returned strings will now fill most of a 12-character
string, (depending on the length of the month).

Remove notmuch_message_get_header_size and notmuch_message_get_all_headers

The notmuch.c main program now uses GMime directly rather than using
these functions, and I'd rather not export any functions unless we
have good evidence that the functions are necessary.

notmuch.el: Hide thread IDs in notmuch-search mode.

One more baby step toward something that's pleasant to use.

notmuch.el: Implement visual feedback for add/remove tags.

There's no undo still, but at least you can see what you are doing
now.

Drop date.c file, (use identical function from GMime instead).

We had originally copied this function in at a time when notmuch
wasn't actually depending on the GMime library. Now that it does,
we might as well call the function that exists there rather
than having a private copy of it.

notmuch show: Don't print non-text MIME parts.

Additionally, print a part number for each MIME part so that the
client could (conceivably) ask for the contents of a specific
part by part number.

Fix to decode header values, (primarily subject).

Use GMime function to decode message-header values according to
RFC 2047.

Print "part" markers for each MIME part (with Content-type).

This can allow for the client to hide undesired MIME parts
such as text/html.

notmuch show: Use GMime to decode messages.

We now actually get text content rather than blocks of BASE64, etc.

TODO: Add several items.

These are the things that are actively preventing me from being able
to use notmuch as an email-reading client.

Add an INSTALL file.

The README file was already referring to this, so we actually add it
now.

Add a simple configure script.

This is *not* based on autoconf. In fact, this doesn't actually
configure anything, (one can compile notmuch directly with just
"make" without running configure if the dependencies are all
satisfied).

The only thing that this configure script does is to check for the
presence of the various dependencies and provide some guidance to
the user if they are not all available.

Makefile: Rewrite to use NOTMUCH rather than MY in variable names.

I was about to refer to these names in some documentation, so I
wanted a slightly better name for them.

README: Add a simple file explaining notmuch and pointing out resources.

This is part of getting notmuch ready for a more public announcement.

Add a simple manual page for notmuch.

By pulling content out of notmuch help, and also the messages
printed by "notmuch setup".

notmuch: Add a talloc context argument to each top-level command function.

I had noticed several times earlier that having a talloc context
passed in would make things more convenient. I'm not exercising
that convenience yet, but the context is there now, (and there's
one fewer item on our TODO list).

Rename message_results/thread_results to messages/threads.

Shorter naming without being any less clear. A definite win.

notmuch.el: Add commands to add tag, remove tag, and archive (== remove inbox tag)

These have keybindings of '+', '-', and 'a'. The bug they have so
far is lack of visual feedback for their effect, and lack of undo.

(Also the fact that adding or removing a single tag for a thread
takes way too long--but that's as a Xapian issue as discussed here:

replace_document should make minimal changes to database file
http://trac.xapian.org/ticket/250
)

notmuch: Reference help, don't print it for unknown commands.

The shorter output is much nicer for something that might end up
in an emacs mini-buffer, for example.

notmuch.el: Add final '*' to generated buffer names.

Just looks a little neater that way.

notmuch.el: Enter now calls "notmuch show" on the current thread

It's remarkable how little code we need for a very functional GUI
here. I think we're doing something right.

notmuch.el: Start fleshing out notmuch-search-mode with a custom keymap

All we have here so far is 'n' and 'p' for going to next and
previous lines respectively.

notmuch.el: Switch from start-process to call-process

We now get the point staying right at the top where we want it.
We also don't get any extraneous noise about "Process notmuch
completed" or anything like that. Just the output in a read-only
buffer.

notmuch.el: Switch from compilation-start to start-process

Compilation mode does a bunch of things that we don't want. Instead
of trying to tear it down to what we want, let's start at the other
end and build up only things that we really want.

notmuch.el: Add notmuch-search command as well as notmuch

This allows for entering a query string interactively.

notmuch.el: Copy copyright information from compilation.el

I'm using that file as my reference here, so I'm likely to end up
copying some code here or there. Might as well be safe and just
copy the copyright statement.

notmuch.el: Rename from notmuch-mode.el to notmuch.el

Also add the copyright and licensing blurb.

notmuch-mode: Add an actualy notmuch-search-mode as well

Doesn't really do anything so far other than mark the buffer read-
only. This does have the benefit of giving us our own name rather
than "Compilation" for the mode.

The very beginnings of an emacs mode for notmuch in notmuch-mode.el.

As expected, there's not much done here yet---it simply displays the
output of "notmuch search" in a new window.

TODO: Add man page and compiling a libnotmuch library to the list.

These are things we'll want done before any big announcement.

Makefile: Add a simple target for "make install".

The more I do here, the less I see the need for autotools.

TODO: Note that "notmuch show" exists now and list several new ideas.

The timestamp stuff we'll want to do soon, since it's a database
change, (though not a major one---at worst a handful of stale
timestamp documents would be left in the database).

Fix relative date formatting to not split one day into two formats.

We were aware of this bug when we wrote the function, (that a date
six days in the past would be treated as the "Friday" or as the
"Oct. 23" case depending on whether its time was before or after
the current time today). We thought it wouldn't be a problem, but
in practice it is. In scanning search results with this output,
the transition between formats makes it look like a day boundary,
(so it would be easy to mistakenly think "Oct. 23" is Thursday).

Fix this to avoid confusion, (still being careful to never print
"Thursday" for a date 7 days in the past when today is Thursday).

notmuch search: Add (relative) date to search output

The new function for formatting relative dates is nice enough that
we need to start using it more places. Here's one of them.

notmuch show: Add a one-line summary of the message before the header.

The idea here is that a client could usefully display just this one
line while optionally hiding the other header fields.

notmuch show: Trim down header list.

This is for now a non-configurable list of Subject, From, To, Cc,
Bcc, and Date.

notmuch show: Add body of message as well.

This is just the raw message body for now, (so any MIME parsing will
be up to the consumer). And this will likely change in the future.

notmuch show: Initial implementation (headers only)

We're using a delimiter syntax that Keith is optimistic about
being able to easily parse in emacs. Note: We're not escaping
any occurrence of the delimiters in the message yet, so we'll
need to fix that.

TODO: Update now that full-text indexing is in.

The optimization idea removed here doesn't make sense anymore with
full-text indexing happening up front.

Fix add_message and get_filename to strip/re-add the database path.

We now store only a relative path inside the database so the database
is not nicely relocatable.

notmuch setup/new: Print progress once per second instead of after 1000 files.

With the recent addition of full-text indexing, printing only once per
1000 files just isn't often enough. The new timer-based approach will
be reliable regardless of the speed of adding message.

index: Don't bother indexing quoted portions of messages (and signatures).

Our old notmuch-index-message.cc code had this, but I originally
left it out when adding indexing back in. I was concerned primarily
with mistakenly detecting signature markers and omitting important
text, (for example, I often do long lines of "----" as section
separators).

But now I  see that there's a performance benefit to skippint the
quotations, (about 120 files/sec. instead of 95 files/sec.). I mitigated
the bogus signature checking by recognizing nothing other than the
all-time classic "-- ".

notmuch_database_add_message: Sanity check the file as the first thing

This avoids us wasting a bunch of time doing an expensive SHA-1 over a large
file only to discover later that it doesn't even *look* like an email message.

Tweak formatting of internal error messages.

Was neglecting to print the phrase "Internal error: " before, and for
the duplicate message-ID error it's nice to actually see the duplicate
IDs.

index: Store "Full Name <user@example.com>" addressses in the database

We put these is as a separate term so that they can be extracted.
We don't actually need this for searching, since typing an email
address in as a search term will already trigger a phrase search
that does exactly what's wanted.

Add full-text indexing using the GMime library for parsing.

This is based on the old notmuch-index-message.cc from early in
the history of notmuch, but considerably cleaned up now that
we have some experience with Xapian and know just what we want
to index, (rather than just blindly trying to index exactly
what sup does).

This does slow down notmuch_database_add_message a *lot*, but I've
got some ideas for getting some time back.

notmuch search: Clarify documentation of implicit Boolean operators

The original documentation of implicit AND is what we want, but
Xapian doesn't actually let us get that today. So be honest about
what the user can actually expect. And let's hope the Xapian
wizards give us the feature we want soon:

http://trac.xapian.org/ticket/402

TODO: A couple new items.

It's time to put full-text indexing back, and we might want to
experiment with optimization the original thread-stitching phase.

TODO: Remove a couple of since-completed items.

"notmuch tag" is implemented now and seems to work great (and fast).

As for the race condition, as noted in the description we're removing
it's not exposed directly in the API, but only in a client that
allows for looping over search results and removing the inbox tag
from all of them. But then, that's exactly what the "notmuch tag"
command does. So, as discussed, we've now documented that command
to highlight the issue. Problem resolved, (as well as we can).

notmuch help: Review and augment all of the "notmuch help" documentation.

The big addition here is the first description of the syntax for
the query strings for "notmuch search", (and, by reference, for
"notmuch tag").

notmuch help: Be less verbose by default and support detailed help

Putting all of our documentation into a single help message was getting
a bit unwieldy. Now, the simple output of "notmuch help" is a reasonable
reminder and a quick reference. Then we now support a new syntax of:
"notmuch help <command>" for the more detailed help messages.

This gives us freedom to put more detailed caveats, etc. into some
sub-commands without worrying about the usage statement getting too
long.