lib: Rearrange the exclude code in query.cc

Slightly refactor the exclude code to give the callers access to the
exclude query itself. There should be no functional change.

test: add tests for new cli --no-exclude option

The tests test the new --no-exclude option to search and count.
There were no existing tests for the exclude behaviour for count so
added these too.

cli: Add --no-exclude to the man pages for search and count

cli: add --no-exclude option to count and search.

This option turns off the exclusion so all matching messages are
returned. We do not need to add this to notmuch-show as that does not
(yet) exclude.

show: Further general simplifications of the JSON formatter

show: Make format_part_sigstatus_json's API consistent between GMIME 2.4 and 2.6

The implementation is still different for GMIME 2.4 and 2.6, but at
least now the caller doesn't have to be aware of this.

show: Make JSON helper functions print complete objects

This makes the main recursive function easier to follow because helper
functions don't add fields to the running object.

show: Simplify talloc use in format_headers_json

Previously there was an unnecessary talloc context.

show: Unify JSON header output for messages and message parts

This has three ramifications:
- Blank To and Cc headers are no longer output for messages.
- Dates are now canonicalized for messages, which means they always
  have a day of the week and GMT is printed +0000 (never -0000)
- Invalid From message headers are handled slightly differently, since
  they get parsed by GMime now instead of notmuch.

show: Use consistent header ordering in the JSON format

Previously, top-level message headers were printed as Subject, From,
To, Date, while embedded message headers were printed From, To,
Subject, Date.  This makes both cases use the former order and updates
the tests accordingly.

show: Convert JSON format to the new self-recursive style

As before, this is all code movement and a smidgen of glue.  This
moves the existing JSON formatter code into one self-recursive
function, but doesn't change any of the logic to take advantage of the
new structure.

In general, "leafs" of the JSON structure are left in helper functions
(most of them untouched), so that it's easy to see the overall
structure of the format from the main recursive function.

emacs: Tests for user-defined sections

A new file was added for notmuch-hello tests.

emacs: User-defined sections in notmuch-hello

This patch makes the notmuch-hello screen fully customizable
by allowing the user to add and remove arbitrary sections. It
also provides some convenience functions for constructing sections,
e.g. showing the unread message count for each tag.

This is done by specifying a list of functions that will be run
when notmuch-hello is invoked.

add minimal changelog stanza for 0.12~rc1

bump version to 0.12~rc1

As usual, only `version' is edited by hand. The rest of the changes I
blame on the machine.

emacs: Clarify description of thread manipulating functions

It is not clear whether the term "thread" refers to the thread in the
database or to the thread currently shown in a buffer. Those two
meanings may refer to different sets of messages, e.g. when a new email
is added to the database while the buffer shows the state before the new
email arrived.

This patch replaces the term thread with the term current buffer, which
is hopefully less ambiguous.

test: Remove 'broken' flag from encoding test

Convert non-UTF-8 parts to UTF-8 before indexing them

This fixes a bug that didn't allow to search for non-ASCII words such
parts. The code here was copied from show_text_part_content(), because
the show command already does the needed conversion when showing the
message.

test: Add test for searching of uncommonly encoded messages

Emails that are encoded differently than as ASCII or UTF-8 are not
indexed properly by notmuch. It is not possible to search for non-ASCII
words within those messages.

doc: minor corrections in notmuch-config.1

* man/man1/notmuch-config.1

  - SYNOPSIS:
    Remove spaces in 'section.item' arg, and indicate that
    `notmuch config set' accepts multiple value args.

  - DESCRIPTION:
    Correct config option to exclude tags from search results.
    ('search.exclude_tags' instead of 'search.exclude')

Also see commit bb8ab4c8.

News for Make buttons for attachments allow viewing as well as saving

On Sat, 21 Jan 2012 09:09:58 -0400, David Bremner <david@tethera.net> wrote:
> On Fri, 20 Jan 2012 09:44:06 +0000, Mark Walters <markwalters1009@gmail.com> wrote:
> > Define a keymap for attachment buttons to allow multiple actions.
> > Define 3 possible actions:
> >     save attachment: exactly as currently,
> >     view attachment: uses mailcap entry,
> >     view attachment with user chosen program
>
> pushed.

Here is a News patch for this feature.

Best wishes

Mark

From fde33258850a438f1810e4158c946b3cf185b5e8 Mon Sep 17 00:00:00 2001
From: Mark Walters <markwalters1009@gmail.com>
Date: Wed, 29 Feb 2012 09:26:17 +0000
Subject: [PATCH] News item for allowing attachment buttons to view as well as save.

man: add references to maildir flag synchronization

notmuch new, restore, and tag commands support maildir flag
synchronization with notmuch tags. Reference the notmuch-config(1) man
page about it in the relevant man pages.

man: document the notmuch configuration settings in notmuch-config(1)

At the risk of duplication between the man page and the configuration
file generated by default, document the notmuch configuration options
in the notmuch config man page.

Existing users of notmuch should not be expected to re-generate their
config file in order to get access to the documentation for new
configuration options.

Include some minor fixes and cleanups while at it.

emacs: Fix out of date comment

The behavior of the header line in show-mode changed from showing the
subject of the first open message to showing the subject of the first
message in 4d77f18b.  Update a comment to reflect this.

Document the JSON schemata used by show and search

NEWS: sync 'new.ignore' entry with its comment in notmuch-config.c

See previous commit.

cli: update 'new.ignore' config file comment wrt file/directory matching

Build-Depend on libgmime-2.6-dev | libgmime2.4-dev

libgmime-2.6-dev entered debian unstable today.  If 2.6 is available,
notmuch should build against 2.6 instead of 2.4, as 2.6 is the current
upstream stable version of libgmime.

News for retaining state when refreshing notmuch show

emacs: Reverse the meaning of notmuch-show-refresh-view's argument

Consensus seems to be that people prefer that refreshing show buffers
retains state by default, rather than resetting it by default.  This
turns out to be the case in the code, as well.  In fact, there's even
a test for this that's been marked broken for several months, which
this patch finally gets to mark as fixed.

emacs: When refreshing a show buffer, only mark read when resetting state

If we retain state while refreshing a show buffer, it should not mark
any messages read since it's not a navigation operation (it especially
shouldn't mark the first message matching the query read, which is
what it did previously).  If the user or caller requests that refresh
reset the state of the buffer, then we consider that a navigation
operation, so we do mark the message under point after the refresh
read.

This is implemented by moving responsibility for initial positioning
and read-marking out of notmuch-show-worker and into its caller.
Since notmuch-show-worker is now exclusively about building the show
buffer, we rename it to notmuch-show-build-buffer.

emacs: add `notmuch-show-stash-mlarchive-link{, -and-go}'

* emacs/notmuch-show.el

  (notmuch-show-stash-mlarchive-link-alist):
    New defcustom of type `alist' (key = name, value = URI),
    containing Mailing List Archive URI's for searching by Message-Id.

  (notmuch-show-stash-mlarchive-link-default):
    New defcustom, default MLA to use when `notmuch-show-stash-mlarchive-link'
    received no user input whatsoever.  Available choices are generated using
    the contents of `notmuch-show-stash-mlarchive-link-alist'.

  (notmuch-show-stash-map):
    Added keybinds "l" and "L" for `notmuch-show-stash-mlarchive-link'
    respectively `notmuch-show-stash-mlarchive-link-and-go'.

  (notmuch-show-stash-mlarchive-link):
    New function, stashes a URI pointing to the current message at one
    of the MLAs configured in `notmuch-show-stash-mlarchive-link-alist'.
    Prompts user with `completing-read' if not provided with an MLA key.

  (notmuch-show-stash-mlarchive-link-and-go):
    New function, uses `notmuch-show-stash-mlarchive-link' to
    stash a URI, and then visits it using the browser configured
    in `browse-url-browser-function'.

Based on original work [1] by David Edmondson <dme@dme.org>.

[1] id:"1327397873-20596-1-git-send-email-dme@dme.org"

test: emacs: expand subtest "Stashing in notmuch-show" wrt stashing Mailing List Archive URIs

`notmuch-show-stash-mlarchive-link' stashes a URI pointing to the current message
at one of the MLAs configured in `notmuch-show-stash-mlarchive-link-alist'.

Marked as "broken": fixed in next commit.

emacs: `notmuch-show-get-message-id': optionally return Message-Id sans prefix

* emacs/notmuch-show.el

  (notmuch-show-get-message-id):
    Add optional arg BARE.  When non-nil, return a Message-Id without
    quotes and prefix, thus obviating the need to strip them off again
    in various places.

  (notmuch-show-stash-message-id-stripped):
    Update wrt changes in `notmuch-show-get-message-id'.

NEWS: add entry for the improved unicode handling in the python bindings

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

NEWS: add entry for python 3.2 compatibility

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

emacs: support text/calendar mime type

Replace text/x-vcalendar with text/calendar, while maintaining support
and backwards compatibility for text/x-vcalendar.

Code by David Edmondson <dme@dme.org>

test: replace occurrences of $PWD with vars that are more stable

Thanks to Dmitry Kurochkin <dmitry.kurochkin@gmail.com>
for pointing this out:  id:"87d39ymyb4.fsf@gmail.com"

python: split the documentation

Move each classes documentation into its own file and thus into its
own page in the generated documentation.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: move the notmuch module section to notes.rst

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: move the usage example to quickstart.rst

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: strip module prefix in the sphinx documentation

Remove the notmuch prefix from classes in the documentation. This
change makes the table of contents look much nicer.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: mention the exception class refactoring in the docs

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: move the exception classes into error.py

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: rename filename.py into filenames.py

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: move Threads class into its own file

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: move Messages class into its own file

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: refactor the python bindings

Move the Directory class into its own file, merge the two Filenames
classes into one, deprecate Filenames.as_iterator, update the
documentation accordingly.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: work around libnotmuch calling exit(3) in Database.find_message_by_filename

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: improve the docstring of Database.find_message_by_filename

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: work around libnotmuch calling exit(3) in Database.get_directory

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: Improve the docstring of Database.get_directory
Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: avoid using a magic value for database mode in Database.__init__

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

test: always report missing prereqs, independent of `--verbose' option

When tests are skipped due to missing prereqs, those prereqs are only
displayed when running with the `--verbose' option.  This is essential
information when troubleshooting, so always send to stdout.

emacs: Fix out-of-date declare-function

The names of the arguments to notmuch-show-refresh-view had gotten out
of sync between the declare-function and the real thing.

Prevent segmentation fault in notmuch_database_close

Previously opening a notmuch database in read write mode that has been
locked resulted in the notmuch_database_open function executing
notmuch_database_close as a cleanup function. notmuch_database_close
failed to check whether the xapian database has in fact been created.

Add a check whether the xapian database object has actually been
created before trying to call its flush method.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: fix the type nonsense of the first parameter of class Directory

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: allow an empty path as parameter to Database.get_directory

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: remove :returns: keywords from functions returning nothing

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: rework Directory.set_mtime

Fix the indentation within the docstring, remove useless remarks, do
some trivial refactoring.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: harmonize the sphinx keyword for exceptions

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: refactor the error handling machinery

Raise specific error classes instead of a generic NotmuchError with an
magic status value (e.g. NotmuchError(STATUS.NULL_POINTER) ->
NullPointerError()), update the documentation accordingly.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: fix the projects name and update years of the copyright notice in the sphinx docs

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: more error handling fixes

This is a follow up commit to 221c7e0b38177f5f1dbf0561580c15e8aaa49004
fixing more NULL pointer checks.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: remove trailing whitespace within the documentation source files

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: improve Query.count_messages docstring

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: wrap notmuch_query_count_threads as Query.count_threads

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: refactor Query class

Put each libnotmuch function reference right in front of the
corresponding python wrapper.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: move Query class to its own file

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: remove unused but imported symbol

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: remove unused but imported symbol

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

NEWS: add news section for new.ignore

Added NEWS section 'Mail store folder/file ignore'.

add support for user-specified files & directories to ignore

A new configuration key 'new.ignore' is used to determine which
files and directories user wants not to be scanned as new mails.

Mark the corresponding test as no longer broken.
This work merges my previous attempts and Andreas Amann's work
in id:"ylp7hi23mw8.fsf@tyndall.ie"

test: add tests wrt ignoring user-specified files and directories

Files and directories which are specified in 'new.ignore' in the
config file shouldn't be indexed nor reported by `notmuch new'.

This is basically Pieter's work with Austin's comments addressed.

emacs: Fix display of highlighted line in notmuch-search

When notmuch-search-line-faces is used to set background color in search
results, the highlight of the current line is not always displayed
correctly. This patch fixes that by increasing the priority property of
the highlight overlay.

python: implement the context manager protocol for database objects

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: provide a Database.close function

Rename Database.__del__ to Database.close, move it just below the open
function and call close() in a newly created destructor just below the
constructor.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

Free the results of scandir()

scandir() returns "strings allocated via malloc(3)" which are then
"collected in array namelist which is allocated via
malloc(3)". Currently we just free the array namelist. Instead, free
all the entries of namelist, and then free namelist.

entry only points to elements of namelist, so we don't free it
separately.

emacs: allow to set RETAIN-STATE for `notmuch-show-refresh-view' interactively

The notmuch-show view refresh function (`notmuch-show-refresh-view',
bound to "=") accepts an optional RETAIN-STATE argument.  The patch
allows to set this argument interactively by using "C-u =".

emacs: cleanup and simplify `notmuch-show-archive-thread' and related functions

Recent changes in notmuch-show tagging introduced some code
duplication.  The patch cleanups and simplifies
`notmuch-show-archive-thread' function by using
`notmuch-show-tag-all', no longer used function are removed.  After
the change, `notmuch-show-archive-thread' function becomes symmetric
with `notmuch-show-archive-message'.

A side effect of these changes is that `notmuch-show-archive-thread'
no longer calls "notmuch tag" for each message in the thread.

emacs: A prefix argument to `notmuch-show' should invert the matching message behaviour.

Allow the user to open a thread with inverted
`notmuch-show-only-matching-messages' behaviour using a prefix
argument.

emacs: Add `notmuch-show-only-matching-messages'.

Allow the user to choose that only matching messages are shown by
default.

emacs: Check that the parent buffer is alive before using it.

emacs: Optionally retain the state of the buffer during `notmuch-show-refresh-view'.

With an argument, record and reply the state of the buffer during
`notmuch-show-refresh-view'.

In this context, "state" is defined as:
 - the open/closed state of each message,
 - the current message.

Traditional use of refresh with the = key does not retain the
state. The recently introduced toggle commands ($, !, < and >) do
retain the state.

emacs: Add a binding (t) to toggle the truncation of long lines.

emacs: Allow the indentation of content to be toggled.

Very deeply indented content is sometimes difficult to
read (particular for something like patches). Allow the indentation of
the content to be toggled with '<'.

Indentation of the header lines is not affected, so it remains
possible to see the structure of the thread.

emacs: Allow `notmuch-show-mode' to display only matching messages.

The current behaviour (all messages shown, non-matching collapsed)
is retained as the default. Type '!' to switch to showing only
the matching messages - non-matching messages are not available.
'!' will switch back to showing everything.

emacs: Rework crypto switch toggle.

Re-work the existing crypto switch toggle to be based on a persistant
buffer-local variable.

To allow this, modify `notmuch-show-refresh-view' to erase and re-draw
in the current buffer rather than killing the current buffer and
creating a new one. (This will also allow more per-buffer behaviour in
future patches.)

Add a binding ('$') to toggle crypto processing of the current buffer
and remove the prefix argument approach that achieves a similar
result.

emacs: Ensure that gnupg output goes at the end of the buffer.

When showing the user some details of gnupg output, ensure that those
details are shown at the end of the gnupg status buffer
("*notmuch-crypto-gpg-out*"), otherwise it can end up mixed up with
earlier output.

cli: reach previously unreachable cleanup code in "notmuch show"

The last lines of notmuch_show_command() function were
unreachable. Fix it by using a variable for return value.

Signed-off-by: Jani Nikula <jani@nikula.org>

cli: convert "notmuch show" to use the new argument parser

Use the new notmuch argument parser to handle arguments in "notmuch
show". There are three minor functional changes:

1) Also set params.raw = TRUE when defaulting to raw format when part
   is requested but format is not specified. This was a bug, and
   --part=0 without --format=raw did not work previously.

2) Set params.decrypt = FALSE if crypto context creation fails.

3) Only use the parameters for the last --format if specified multiple
   times. Previously this could have resulted in a non-working mixture
   of parameters.

Signed-off-by: Jani Nikula <jani@nikula.org>

cli: use notmuch_bool_t for boolean fields in notmuch_show_params_t

Use notmuch_bool_t instead of int for entire_thread, raw, and decrypt
boolean fields in notmuch_show_params_t. No functional changes.

Signed-off-by: Jani Nikula <jani@nikula.org>

show: Simplify new text formatter code

This makes the text formatter take advantage of the new code
structure.  The previously duplicated header logic is now unified,
several things that we used to compute repeatedly across different
callbacks are now computed once, and the code is simpler overall and
32% shorter.

Unifying the header logic causes this to format some dates slightly
differently, so the two affected test cases are updated.

show: Convert text format to the new self-recursive style

This is all code movement and a smidgen of glue.  This moves the
existing text formatter code into one self-recursive function, but
doesn't change any of the logic.  The next patch will actually take
advantage of what the new structure has to offer.

Note that this patch retains format_headers_message_part_text because
it is also used by the raw format.

emacs: add default value to notmuch-search-line-faces

Add default value to notmuch-search-line-faces to show "unread"
messages in bold, and "flagged" messages in blue, to have some visual
indication of important messages in search results. This should be
helpful for new users.

"unread" tag is quite obvious, and handled specially both in the lib
and emacs ui. "flagged" is synced to maildir F flag in the lib. If one
syncs the maildir to IMAP, this also translates to corresponding IMAP
flag. (This is "starred" in GMail and Android.)

Signed-off-by: Jani Nikula <jani@nikula.org>

test: remove explicit loading of elisp tests in emacs-address-cleaning

It is no longer needed, since elisp tests files are auto loaded now.

test: auto load elisp tests file in test_emacs if available

This allows us to simplify shell part of tests written in elisp.

STYLE: Initial draft of coding style document

This was edited by (at least) Austin, Tomi, and myself.

Amended with Austin's proposed wording for indentation.

py3k: Fix decoding of default database name in Database._get_user_default_db

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>

python: mock out the ctypes library

This allows rtfd.org to build the documentation without libnotmuch.

Signed-off-by: Justus Winter <4winter@informatik.uni-hamburg.de>