notmuch.git
12 years agotest: emacs: new tests "notmuch-show: {add,remove} multiple tags {to,from} single...
Pieter Praet [Fri, 24 Feb 2012 22:30:35 +0000 (23:30 +0100)]
test: emacs: new tests "notmuch-show: {add,remove} multiple tags {to,from} single message"

* test/emacs:

  - Rename subtests "{Add,Remove} tag from notmuch-show view" to
    "notmuch-show: {add,remove} single tag {to,from} single message"
    to be consistent with the following tests.

  - New subtest "notmuch-show: add multiple tags to single message":
    `notmuch-show-add-tag' ("+") can add multiple tags to a message.

  - New subtest "notmuch-show: remove multiple tags from single message":
    `notmuch-show-remove-tag' ("-") can remove multiple tags from a message.

12 years agocontrib: pick: bugfix for pick splitting the window excessively
Mark Walters [Sun, 9 Dec 2012 20:17:29 +0000 (20:17 +0000)]
contrib: pick: bugfix for pick splitting the window excessively

Previously if you carried on past the last message in a pick view pick
would get confused and `forget' about the split pane and would try and
re-split when moving up again. This was due to faulty logic in
notmuch-pick-show-message: something that should have been in the (when message)
clause was not.

Thanks to jrollins for the bug report.

12 years agoNEWS: under-the-hood Emacs interface fixes
Tomi Ollila [Sun, 9 Dec 2012 11:56:35 +0000 (13:56 +0200)]
NEWS: under-the-hood Emacs interface fixes

Added the following Emacs Interface NEWS entries:

Catch errors bodypart insertions may throw,
Improved text/calendar content handling and
Disabled coding conversions when reading in
`with-current-notmuch-show-message`.

Thanks to Austin and David for content improvements.

12 years agoemacs: add support for stashing the thread id in show view
Jani Nikula [Thu, 6 Dec 2012 22:48:05 +0000 (00:48 +0200)]
emacs: add support for stashing the thread id in show view

Add a prefix argument to notmuch-show-stash-message-id to stash thread
id instead of message id.

12 years agotag-util: optimization of tag application
David Bremner [Tue, 13 Nov 2012 04:23:49 +0000 (00:23 -0400)]
tag-util: optimization of tag application

The idea is not to bother with restore operations if they don't change
the set of tags. This is actually a relatively common case.

In order to avoid fancy datastructures, this method is quadratic in
the number of tags; at least on my mail database this doesn't seem to
be a big problem.

12 years agonotmuch-{dump,restore}.1: document new format options
David Bremner [Mon, 2 Jan 2012 19:07:33 +0000 (15:07 -0400)]
notmuch-{dump,restore}.1: document new format options

More or less arbitrarily, notmuch-dump.1 gets the more detailed
description of the format.

12 years agotest/dump-restore: add test for warning/error messages
David Bremner [Sat, 8 Dec 2012 12:34:00 +0000 (08:34 -0400)]
test/dump-restore: add test for warning/error messages

We want to test both that error/warning messages are generated when
they should be, and not generated when they should not be. This varies
between restore and batch tagging.

12 years agotest: second set of dump/restore --format=batch-tag tests
David Bremner [Sat, 24 Nov 2012 21:20:15 +0000 (17:20 -0400)]
test: second set of dump/restore --format=batch-tag tests

These one need the completed functionality in notmuch-restore. Fairly
exotic tags are tested, but no weird message id's.

We test each possible input to autodetection, both explicit (with
--format=auto) and implicit (without --format).

12 years agotest: update dump-restore roundtripping test for batch-tag format
David Bremner [Tue, 13 Dec 2011 03:22:53 +0000 (23:22 -0400)]
test: update dump-restore roundtripping test for batch-tag format

Now we can actually round trip these crazy tags and and message ids.
hex-xcode is no longer needed as it's built in.

12 years agonotmuch-restore: normalize case of error messages.
David Bremner [Sat, 8 Dec 2012 21:57:10 +0000 (17:57 -0400)]
notmuch-restore: normalize case of error messages.

In English, (unlike German) one does not capitalize the first word
after a colon.

12 years agonotmuch-restore: add support for input format 'batch-tag'
David Bremner [Sun, 11 Nov 2012 14:13:48 +0000 (10:13 -0400)]
notmuch-restore: add support for input format 'batch-tag'

This can be enabled with the new --format=batch-tag command line
option to "notmuch restore". The input must consist of lines of the
format:

    +<tag>|-<tag> [...] [--] id:<msg-id>

Each line is interpreted similarly to "notmuch tag" command line
arguments. The delimiter is one or more spaces ' '. Any characters in
<tag> and <search-terms> MAY be hex encoded with %NN where NN is the
hexadecimal value of the character. Any ' ' and '%' characters in
<tag> and <msg-id> MUST be hex encoded (using %20 and %25,
respectively). Any characters that are not part of <tag> or
<search-terms> MUST NOT be hex encoded.

Leading and trailing space ' ' is ignored. Empty lines and lines
beginning with '#' are ignored.

Commit message mainly stolen from Jani's batch tagging commit, to
follow.

12 years agotag-util.[ch]: New files for common tagging routines
David Bremner [Tue, 13 Nov 2012 01:54:16 +0000 (21:54 -0400)]
tag-util.[ch]: New files for common tagging routines

These are meant to be shared between notmuch-tag and notmuch-restore.

The bulk of the routines implement a "tag operation list" abstract
data type act as a structured representation of a set of tag
operations (typically coming from a single tag command or line of
input).

12 years agoutil: add string-util.[ch]
David Bremner [Sat, 24 Nov 2012 13:43:42 +0000 (09:43 -0400)]
util: add string-util.[ch]

This is to give a home to strtok_len. It's a bit silly to add a header
for one routine, but it needs to be shared between several compilation
units (or at least that's the most natural design).

12 years agotest: add sanity check for dump --format=batch-tag.
David Bremner [Wed, 5 Dec 2012 02:48:37 +0000 (22:48 -0400)]
test: add sanity check for dump --format=batch-tag.

It's important this does not rely on restore, since it hasn't been
written yet.

12 years agonotmuch-dump: add --format=(batch-tag|sup)
David Bremner [Thu, 14 Jun 2012 22:08:42 +0000 (01:08 +0300)]
notmuch-dump: add --format=(batch-tag|sup)

sup is the old format, and remains the default, at least until
restore is converted to parse this format.

Each line of the batch-tag format is modelled on the syntax of notmuch tag:
- "notmuch tag" is omitted from the front of the line
- The dump format only uses query strings of a single message-id.
- Each space seperated tag/message-id is 'hex-encoded' to remove
  trouble-making characters.
- It is permitted (and will be useful) for there to be no tags before
  the query.

In particular this format won't have the same problem with e.g. spaces
in message-ids or tags; they will be round-trip-able.

12 years agoUpdating man pages for new S-Expression output format.
Peter Feigl [Thu, 6 Dec 2012 21:12:15 +0000 (22:12 +0100)]
Updating man pages for new S-Expression output format.

Add sections about the new S-Expression output format (--format=sexp) to
the notmuch-search, notmuch-reply and notmuch-show man pages.

12 years agoAdding tests for --format=sexp.
Peter Feigl [Thu, 6 Dec 2012 21:12:14 +0000 (22:12 +0100)]
Adding tests for --format=sexp.

Add basic tests, the same as for json, for the S-Expression output
format.

12 years agoUse the S-Expression structured printer in notmuch-show, notmuch-reply and notmuch...
Peter Feigl [Thu, 6 Dec 2012 21:12:13 +0000 (22:12 +0100)]
Use the S-Expression structured printer in notmuch-show, notmuch-reply and notmuch-search.

This patch uses the new S-Expression printer in the notmuch CLI (show,
search and reply). You can now use --format=sexp for any of them.

12 years agoRename the -json printer functions in notmuch-reply and notmuch-show to generic ...
Peter Feigl [Thu, 6 Dec 2012 21:12:12 +0000 (22:12 +0100)]
Rename the -json printer functions in notmuch-reply and notmuch-show to generic -sprinter functions.

All the structured output functions in notmuch-reply and notmuch-show
are renamed to a generic name (as they do not contain any json-specific
code anyway). This patch is a preparation to actually using the new
S-Expression sprinter in notmuch-reply and notmuch-show.

12 years agoAdding an S-expression structured output printer.
Peter Feigl [Thu, 6 Dec 2012 21:12:11 +0000 (22:12 +0100)]
Adding an S-expression structured output printer.

This commit adds a structured output printer for Lisp
S-Expressions. Later commits will use this printer in notmuch search,
show and reply.

The structure is the same as json, but:
- arrays are written as lists: ("foo" "bar" "baaz" 1 2 3)
- maps are written as p-lists: (:key "value" :other-key "other-value")
- true is written as t
- false is written as nil
- null is written as nil

[ whitespace changes by db ]

12 years agotest: use perl instead of sed -r for portability
Jani Nikula [Tue, 4 Dec 2012 21:26:33 +0000 (23:26 +0200)]
test: use perl instead of sed -r for portability

Our OS X users report -r is not a supported option for sed. Use perl
instead.

12 years agotest: wrap 'wc -l' results in arithmetic evaluation to strip whitespace
Jani Nikula [Tue, 4 Dec 2012 21:26:32 +0000 (23:26 +0200)]
test: wrap 'wc -l' results in arithmetic evaluation to strip whitespace

This is for portability, as 'wc -l' emits whitespace on some BSD
variants. Suggested by Tomi Ollila <tomi.ollila@iki.fi>.

12 years agotest: fix count test
Jani Nikula [Tue, 4 Dec 2012 21:26:31 +0000 (23:26 +0200)]
test: fix count test

The quoting for ${SEARCH} is broken when it's supposed to be '*', and
it seems tricky to get it right. Just drop the variable and use '*'
directly. Before this, none of the messages ever matched, and the test
was comparing zeros.

12 years agotest: Fix UTF-8 JSON tests in Python 3
Austin Clements [Tue, 4 Dec 2012 15:24:14 +0000 (10:24 -0500)]
test: Fix UTF-8 JSON tests in Python 3

test_expect_equal_json uses json.tool from the system Python.  While
Python 2 wasn't picky about the encoding of stdin, Python 3 decodes
stdin strictly according to the environment.  Since we set LC_ALL=C
for the tests, Python 3's json.tool was assuming stdin would be in
ASCII and aborting when it couldn't decode the UTF-8 characters from
some of the JSON tests.  This patch sets the PYTHONIOENCODING
environment variable to utf-8 when invoking json.tool to override
Python's default encoding choice.

12 years agoChanging build tool for test/random-corpus to CXX instead of CC.
Peter Feigl [Tue, 4 Dec 2012 13:47:00 +0000 (14:47 +0100)]
Changing build tool for test/random-corpus to CXX instead of CC.

Without this change, GCC complains as follows:
gcc  test/random-corpus.o test/database-test.o notmuch-config.o command-line-arguments.o lib/libnotmuch.a util/libutil.a parse-time-string/libparse-time-string.a -o test/random-corpus -lgmime-2.6 -lgio-2.0 -lgobject-2.0 -lglib-2.0   -Wl,-rpath,/usr/lib -ltalloc   -lxapian
/usr/bin/ld: lib/libnotmuch.a(database.o): undefined reference to symbol '_ZNSs4_Rep10_M_destroyERKSaIcE@@GLIBCXX_3.4'
/usr/bin/ld: note: '_ZNSs4_Rep10_M_destroyERKSaIcE@@GLIBCXX_3.4' is defined in DSO /usr/lib/libstdc++.so.6 so try adding it to the linker command line
/usr/lib/libstdc++.so.6: could not read symbols: Invalid operation
collect2: error: ld returned 1 exit status
make: *** [test/random-corpus] Error 1

12 years agoAdding parse-time to test/.gitignore
Peter Feigl [Tue, 4 Dec 2012 14:05:58 +0000 (15:05 +0100)]
Adding parse-time to test/.gitignore

test/parse-time is a binary that is generated when running make test. It should be ignored by git.

12 years agoNEWS: removal of notmuch-folders
Jani Nikula [Tue, 4 Dec 2012 16:20:29 +0000 (18:20 +0200)]
NEWS: removal of notmuch-folders

12 years agoemacs: show: refresh buffer did not remove overlays
Mark Walters [Wed, 5 Dec 2012 12:11:49 +0000 (12:11 +0000)]
emacs: show: refresh buffer did not remove overlays

Previously refreshing the notmuch show buffer did not remove overlays
which meant that if the user refreshed a message with images the
images would remain and then the new text was added after.

One might have guessed that erase-buffer would have removed them but
it seems not.  Thus force the removal of overlays with remove-overlays.

12 years agoemacs: stash bugfix
Mark Walters [Wed, 5 Dec 2012 12:20:54 +0000 (12:20 +0000)]
emacs: stash bugfix

Currently an attempt to stash a non-existent field (eg cc when not
present) throws an error. Catch this case and give the user a warning
message.

12 years agocli: convert "notmuch new" to the argument parser
Jani Nikula [Mon, 3 Dec 2012 20:56:13 +0000 (22:56 +0200)]
cli: convert "notmuch new" to the argument parser

Use the notmuch argument parser to handle arguments in "notmuch
new". As a side effect, this fixes broken STRNCMP_LITERAL usage that
accepts, for example, --verbosefoo for --verbose.

12 years agocli: fix notmuch top level argument parsing
Jani Nikula [Mon, 3 Dec 2012 20:56:12 +0000 (22:56 +0200)]
cli: fix notmuch top level argument parsing

Use strcmp instead of STRNCMP_LITERAL, which matches the prefix
instead of the whole argument.

12 years agoemacs: drop support for deprecated notmuch-folders
Jani Nikula [Mon, 3 Dec 2012 21:23:44 +0000 (23:23 +0200)]
emacs: drop support for deprecated notmuch-folders

Remove notmuch-folders which has been deprecated since

commit a4669217600e4536dc0c49f0255af5e2d9bc183f
Author: Carl Worth <cworth@cworth.org>
Date:   Mon Apr 26 22:42:07 2010 -0700

    emacs: Rip out all of the notmuch-folder code.

This lets us simplify the notmuch-saved-searches code slightly.

12 years agotest: fix an evident copy-paste error in argument parsing test
Jani Nikula [Mon, 3 Dec 2012 22:54:52 +0000 (00:54 +0200)]
test: fix an evident copy-paste error in argument parsing test

12 years agocontrib: pick: use notmuch-clean-address
Mark Walters [Sat, 1 Dec 2012 18:02:02 +0000 (18:02 +0000)]
contrib: pick: use notmuch-clean-address

Now notmuch-clean-address is split out in show pick can use that (with a small
wrapper).

12 years agotest: add broken roundtrip test
David Bremner [Sun, 5 Aug 2012 18:13:13 +0000 (15:13 -0300)]
test: add broken roundtrip test

We demonstrate the current notmuch restore parser being confused by
message-id's and tags containing non alpha numeric characters
(particularly space and parentheses are problematic because they are
not escaped by notmuch dump).

We save the files as hex escaped on disk so that terminal emulators
will not get confused if the test fails (as we mostly expect it to do).

12 years agotest: add generator for random "stub" messages
David Bremner [Sun, 5 Aug 2012 18:13:12 +0000 (15:13 -0300)]
test: add generator for random "stub" messages

Initial use case is testing dump and restore, so we only have
message-ids and tags.

The message ID's are nothing like RFC compliant, but it doesn't seem
any harder to roundtrip random UTF-8 strings than RFC-compliant ones.

Tags are UTF-8, even though notmuch is in principle more generous than
that.

updated for id:m2wr04ocro.fsf@guru.guru-group.fi

- talk about Unicode value rather some specific encoding
- call talloc_realloc less times

12 years agotest: add database routines for testing
David Bremner [Sun, 5 Aug 2012 18:13:11 +0000 (15:13 -0300)]
test: add database routines for testing

Initially, provide a way to create "stub" messages in the notmuch
database without corresponding files.  This is essentially cut and
paste from lib/database.cc. This is a seperate file since we don't
want to export these symbols from libnotmuch or bloat the library with
non-exported code.

12 years agotest/hex-escaping: new test for hex escaping routines
David Bremner [Thu, 14 Jun 2012 22:08:38 +0000 (01:08 +0300)]
test/hex-escaping: new test for hex escaping routines

These are more like unit tests, to (try to) make sure the library
functionality is working before building more complicated things on
top of it.

12 years agotest/hex-xcode: new test binary
David Bremner [Thu, 14 Jun 2012 22:08:37 +0000 (01:08 +0300)]
test/hex-xcode: new test binary

This program is used both as a test-bed/unit-tester for
../util/hex-escape.c, and also as a utility in future tests of dump
and restore.

12 years agohex-escape: (en|de)code strings to/from restricted character set
David Bremner [Thu, 14 Jun 2012 22:08:36 +0000 (01:08 +0300)]
hex-escape: (en|de)code strings to/from restricted character set

The character set is chosen to be suitable for pathnames, and the same
as that used by contrib/nmbug

[With additions by Jani Nikula]

12 years agocontrib: pick: use async parser from lib
Mark Walters [Sun, 28 Oct 2012 13:37:10 +0000 (13:37 +0000)]
contrib: pick: use async parser from lib

This moves notmuch-pick to use the newly split out async json parser
from notmuch-lib.el.

12 years agocontrib: pick: remove some debug timing messages
markwalters1009 [Thu, 29 Nov 2012 10:04:34 +0000 (10:04 +0000)]
contrib: pick: remove some debug timing messages

When I submitted notmuch-pick I deleted most of the debug messages but
I missed two cases. Remove them now.

12 years agoemacs: Split the function notmuch-show-clean-address
Mark Walters [Tue, 31 Jul 2012 16:29:39 +0000 (17:29 +0100)]
emacs: Split the function notmuch-show-clean-address

This function is also used by pick so split it out in preperation for
moving to lib. In fact, pick and show want a slightly different
combination of name and email on return so make the separated function
return them as a pair, and let show or pick extract the combination
they want from that.

12 years agolib: fix warnings when building with clang
Jani Nikula [Mon, 1 Oct 2012 07:36:11 +0000 (09:36 +0200)]
lib: fix warnings when building with clang

Building notmuch with CC=clang and CXX=clang++ produces the warnings:

CC -O2 lib/tags.o
lib/tags.c:43:5: warning: expression result unused [-Wunused-value]
    talloc_steal (tags, list);
    ^~~~~~~~~~~~~~~~~~~~~~~~~
/usr/include/talloc.h:345:143: note: expanded from:
  ...__location__); __talloc_steal_ret; })
                    ^~~~~~~~~~~~~~~~~~
1 warning generated.

CXX -O2 lib/message.o
lib/message.cc:791:5: warning: expression result unused [-Wunused-value]
    talloc_reference (message, message->tag_list);
    ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
/usr/include/talloc.h:932:36: note: expanded from:
  ...(_TALLOC_TYPEOF(ptr))_talloc_reference_loc((ctx),(ptr), __location__)
     ^                    ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1 warning generated.

Check talloc_reference() return value, and explicitly ignore
talloc_steal() return value as it has no failure modes, to silence the
warnings.

12 years agonews: add news entry for notmuch-pick
markwalters1009 [Thu, 29 Nov 2012 10:02:58 +0000 (10:02 +0000)]
news: add news entry for notmuch-pick

12 years agoconfigure: really expand libdir_expanded
David Bremner [Wed, 28 Nov 2012 12:25:52 +0000 (08:25 -0400)]
configure: really expand libdir_expanded

It turns out that if people really use configure in autotools style and pass
libdir containing '${prefix}/foo' then the ldconfig previously failed.

This uses sed for portability (versus bash parameter expansion with
substitution) and hopefully a bit more robustness than blindly
parameter expanding the string.

12 years agoperformance-test: add units to In and Out
David Bremner [Wed, 28 Nov 2012 21:27:01 +0000 (17:27 -0400)]
performance-test: add units to In and Out

Austin Read enough Fine Manuals to figure out this is in multiples of
512 bytes.

12 years agoperformance-test/README: update instructions for fetching corpus.
David Bremner [Wed, 28 Nov 2012 21:27:00 +0000 (17:27 -0400)]
performance-test/README: update instructions for fetching corpus.

It turns out not everybody on the planet has my gpg key.

12 years agotest: Don't print 'nil' at the beginning of emacs-subject-to-filename
Austin Clements [Wed, 28 Nov 2012 04:55:38 +0000 (23:55 -0500)]
test: Don't print 'nil' at the beginning of emacs-subject-to-filename

12 years agotest: Use associative arrays to track external prereqs
Austin Clements [Wed, 28 Nov 2012 04:54:01 +0000 (23:54 -0500)]
test: Use associative arrays to track external prereqs

Previously, the test framework generated a variable name for each
external prereq as a poor man's associative array.  Unfortunately,
prereqs names may not be legal variable names, leading to
unintelligible bash errors like
  test_missing_external_prereq_emacsclient.emacs24_=t: command not found

Using proper associative arrays to track prereqs, in addition to being
much cleaner than generating variable names and using grep to
carefully construct unique string lists, removes restrictions on
prereq names.

12 years agotest: Abort driver if a test script aborts
Austin Clements [Wed, 28 Nov 2012 04:13:16 +0000 (23:13 -0500)]
test: Abort driver if a test script aborts

Previously, if a test script aborted (e.g., because it passed too few
arguments to a test function), the test driver loop would simply
continue on to the next test script and the final results would
declare that everything passed (except that the test count would look
suspiciously low, but maybe you just misremembered how many tests
there were).

Now, if a test script exits with a non-zero status and did not produce
a final results file, we propagate that failure out of the driver loop
immediately.

To keep this simple, this patch removes the PID from the test-results
file name.  This PID was inherited from the git test system and seems
unnecessary, since the file name already includes the name of the test
script and the test-results directory is created anew for each run.

12 years agotest: Make the emacsclient binary user-configurable
Austin Clements [Wed, 28 Nov 2012 03:24:59 +0000 (22:24 -0500)]
test: Make the emacsclient binary user-configurable

And require that if TEST_EMACS is specified, so is TEST_EMACSCLIENT.

Previously, the test framework always used "emacsclient", even if the
Emacs in use was overridden by TEST_EMACS.  This causes problems if
both Emacs 23 and Emacs 24 are installed, the Emacs 23 emacsclient is
the system default, but TEST_EMACS is set to emacs24.  Specifically,
with an Emacs 24 server and an Emacs 23 client, emacs tests that run
very quickly may produce no output from emacsclient, causing the test
to fail.

The Emacs server uses a very simple line-oriented protocol in which
the client sends a request to evaluate an expression and the server
sends a request to print the result of evaluation.  Prior to Emacs bzr
commit 107565 on March 11th, 2012 (released in Emacs 24.1), if
multiple commands were sent to the emacsclient between when it sent
the evaluation command and when it entered its receive loop, it would
only process the first response command, ignoring the rest of the
received buffer.  This wasn't a problem with the Emacs 23 server
because it sent only the command to print the evaluation result.
However, the Emacs 24 server first sends an unprompted command
specifying the PID of the Emacs server, then processes the evaluation
request, then sends the command to print the result.  If the
evaluation is fast enough, it can send both of these commands before
emacsclient enters the receive loop.  Hence, if an Emacs 24 server is
used with an Emacs 23 emacsclient, it may miss the response printing
command, ultimately causing intermittent notmuch test failures.

12 years agotest: Quote $output in calls to test_expect_equal
Austin Clements [Tue, 27 Nov 2012 04:58:17 +0000 (23:58 -0500)]
test: Quote $output in calls to test_expect_equal

Previously, many tests in emacs-subject-to-filename didn't quote the
$output argument to test_expect_equal.  As a result, if $output was
empty, test_expect_equal would be passed only one argument and would
abort the entire test script.  By quoting the argument, we ensure
test_expect_equal will always receive two arguments.

12 years agonew: Skip ignored broken symlinks
Austin Clements [Sun, 25 Nov 2012 05:25:45 +0000 (00:25 -0500)]
new: Skip ignored broken symlinks

We now test for user ignore patterns before attempting to determine if
a directory entry is itself a directory.  As a result, we no longer
abort for broken symlinks if the user has explicitly ignored them.

This fixes the test added in the previous patch.  It also slightly
changes the debug output checked by another test of ignores.

12 years agotest: Add a test for skipping ignored broken symlinks
Austin Clements [Sun, 25 Nov 2012 05:25:44 +0000 (00:25 -0500)]
test: Add a test for skipping ignored broken symlinks

Currently marked as broken because we abort on broken symlinks, even
if they are in the ignore list.

12 years agoemacs: less guessing of character set in messages
Tomi Ollila [Sun, 18 Nov 2012 20:06:25 +0000 (22:06 +0200)]
emacs: less guessing of character set in messages

The macro with-current-notmuch-show-message executes command
`notmuch show --format=raw id:...` which just outputs the contents
of the mail file verbatim (into temporary buffer). In case e.g. utf-8
locale is used the temporary buffer has buffer-file-coding-system as
utf-8. In this case Emacs converts the data to multibyte format, guessing
that input is in utf-8.
However, the "raw" (MIME) message may contain octet data in any other
8bit format, and as no (MIME-)content spesific handling to the message
is done at this point, conversion to other formats may lose information.
By setting coding-system-for-read 'no-conversion drops the conversion part
and makes this handle input as notmuch-get-bodypart-internal() does.
This marks the broken test in previous change fixed.

12 years agotest/emacs: test saving of attachment containing 8bit octets
Tomi Ollila [Sun, 18 Nov 2012 20:06:24 +0000 (22:06 +0200)]
test/emacs: test saving of attachment containing 8bit octets

This test catches the case 8bit octets in an attachment gets converted
or lost when saving attachment to the file.
This test is marked known broken.

12 years agolib: Reject multi-message mboxes and deprecate single-message mbox
Austin Clements [Sun, 25 Nov 2012 06:16:01 +0000 (01:16 -0500)]
lib: Reject multi-message mboxes and deprecate single-message mbox

Previously, we would treat multi-message mboxes as one giant email,
which, besides the obvious incorrect indexing, often led to
out-of-memory errors for archival mboxes.  Now we explicitly reject
multi-message mboxes.  For historical reasons, we retain support for
single-message mboxes, but official deprecate this behavior.

12 years agotest: Test for ignoring multi-message mbox
Austin Clements [Sun, 25 Nov 2012 06:16:00 +0000 (01:16 -0500)]
test: Test for ignoring multi-message mbox

This test is currently broken.  Note that its brokenness cascades and
causes the next test to fail as well (because notmuch incorrectly
indexes the mbox file).

12 years agotest: Test notmuch new for single-message mbox
Austin Clements [Sun, 25 Nov 2012 06:15:59 +0000 (01:15 -0500)]
test: Test notmuch new for single-message mbox

We support this for historical reasons.

12 years agotest: initial performance testing infrastructure
David Bremner [Sat, 17 Nov 2012 16:28:15 +0000 (12:28 -0400)]
test: initial performance testing infrastructure

This is not near as fancy as as the unit tests, on the theory that
the code should typically be crashing when performance tuning.
Nonetheless, there is plenty of room for improvement.  Several more of
the pieces of the test infrastructure (e.g. the option parsing) could
be factored out into test/test-lib-common.sh

12 years agotest: factor out part of test-lib.sh into test-lib-common.sh
David Bremner [Sat, 17 Nov 2012 20:14:41 +0000 (16:14 -0400)]
test: factor out part of test-lib.sh into test-lib-common.sh

The idea is to use some of the simpler parts of the test suite
infrastructure to help run performance tests.

12 years agonotmuch-show.el: handle the case where icalendar-import-buffer returns nil
Tomi Ollila [Thu, 8 Nov 2012 12:08:00 +0000 (14:08 +0200)]
notmuch-show.el: handle the case where icalendar-import-buffer returns nil

icalendar-import-buffer can fail by an error signal (which have been
witnessed) but according to its docstring it can also return nil
when failing (it returns t when succeeding).

Now that the error is caught by the caller of notmuch-show-inset-part-*
functions in case icalendar-import-buffer returns nil an explicit
error is signaled and unwind-protect takes care of deleting the
temporary file (just in case, it is usually not written to the fs yet).

12 years agonotmuch-show.el: import calendar data with public function after CR removal
Tomi Ollila [Thu, 8 Nov 2012 12:07:59 +0000 (14:07 +0200)]
notmuch-show.el: import calendar data with public function after CR removal

notmuch-get-bodypart-content provides raw data to its caller so
that it can be stored verbatim whenever needed. icalendar functions
expect Emacs to do EOL conversion for the data given to these. Therefore
it the CRLF -> LF conversion is now done explicitly.

The calls to private functions icalendar--convert-ical-to-diary and
icalendar--read-element are replaced with call to public function
icalendar-import-buffer.

12 years agotest: always source test-lib.sh as ./test-lib.sh
Tomi Ollila [Wed, 21 Nov 2012 15:16:14 +0000 (17:16 +0200)]
test: always source test-lib.sh as ./test-lib.sh

There are currently 45 TESTS scripts. 36 of those load
test-lib.sh using '. ./test-lib.sh' and 9 '. test-lib.sh'.

In latter case test-lib.sh is first searched from directories
in PATH (posix) and then from current directory (bash feature).

Changed the 9 files to execute '. ./test-lib.sh'. The test-lib.sh
should never be loaded from directory in PATH.

12 years agotest: Produce useful output when the HTML with images test fails
Austin Clements [Tue, 20 Nov 2012 15:58:45 +0000 (10:58 -0500)]
test: Produce useful output when the HTML with images test fails

Previously, this would simply indicate that the grep failed without
any indication of the Emacs output it failed on.  Now we take
advantage of the test framework's handling of stdout to display the
incorrect Emacs output if the test fails.

12 years agocontrib: notmuch-pick: add tests
Mark Walters [Wed, 7 Nov 2012 20:43:27 +0000 (20:43 +0000)]
contrib: notmuch-pick: add tests

The test should be run using the wrapper run-tests.sh.  This links
the tests into the normal notmuch TEST_DIRECTORY and runs them from
there. After the test is complete then the links are removed.

12 years agotest: add nontrivial test for restore --accumulate.
David Bremner [Fri, 16 Nov 2012 12:31:19 +0000 (08:31 -0400)]
test: add nontrivial test for restore --accumulate.

It seems we have never tested the case that restore --accumulate
actually adds tags. I noticed this when I started optimizing and no
tests failed.

The bracketing with "restore --input=dump.expected" are to make sure
we start in a known state, and we leave the database in a known state
for the next test.

12 years agotest: add more informative titles to restore --accumulate tests
David Bremner [Sat, 17 Nov 2012 14:18:00 +0000 (10:18 -0400)]
test: add more informative titles to restore --accumulate tests

Thanks to Ethan for the suggestion.

12 years agoFixed 2 misspellings of word 'separate'
Tomi Ollila [Fri, 16 Nov 2012 18:18:14 +0000 (20:18 +0200)]
Fixed 2 misspellings of word 'separate'

"Seperate: The second most common misspelling on the Internet..."
(from http://www.re-vision.com/spelling/separate.html).

s/seperate/separate/ in debian/NEWS.Debian & test/README done.

12 years agocontrib: pick: bugfix when trying to show a non-message
Mark Walters [Sat, 10 Nov 2012 17:02:18 +0000 (17:02 +0000)]
contrib: pick: bugfix when trying to show a non-message

If the user pressed return on the end result status line it gave a
blank message. Modify the function notmuch-pick-get-message-id to
return nil rather than an empty message-id in this case to fix this.

This also fixes a bug in the (lack of) quoting of the id string.

12 years agoUpdate notmuch-mutt requirements in README file.
Kevin J. McCarthy [Sat, 10 Nov 2012 19:06:43 +0000 (11:06 -0800)]
Update notmuch-mutt requirements in README file.

This updates the notmuch-mutt README file with requirements for the
recently added duplicate removal patch.

-Kevin

12 years agonotmuch-dump: tidy formatting
David Bremner [Thu, 15 Nov 2012 01:33:22 +0000 (21:33 -0400)]
notmuch-dump: tidy formatting

More uncrustify at work.

12 years agonotmuch-restore: tidy formatting
David Bremner [Thu, 15 Nov 2012 01:33:21 +0000 (21:33 -0400)]
notmuch-restore: tidy formatting

This is again the work of uncrustify.

I remember there is some controversy about "! foo" versus "!foo", but
in context I think "! foo" looks OK. Also, for functions "! foo
(blah)" seems better than "!foo (blah)".

12 years agonotmuch-tag: tidy formatting
David Bremner [Thu, 15 Nov 2012 01:33:20 +0000 (21:33 -0400)]
notmuch-tag: tidy formatting

This is just the result of running uncrustify.

12 years agoNEWS (for 0.15): Added note about Bcc & Reply-To headers in json output
Tomi Ollila [Fri, 16 Nov 2012 10:33:03 +0000 (12:33 +0200)]
NEWS (for 0.15): Added note about Bcc & Reply-To headers in json output

notmuch show --format json now includes Bcc and Reply-To headers of
the message. Mention that in NEWS.
(Heavily modified version of text originally from Michal Nazarewicz.)

12 years agonotmuch-restore: fix error message for extra positional parameter.
David Bremner [Thu, 15 Nov 2012 02:42:39 +0000 (22:42 -0400)]
notmuch-restore: fix error message for extra positional parameter.

Note that a single positional parameter will take this code path also,
so the old message really makes no sense anymore.

12 years agonotmuch-restore: remove extra increment of optind
David Bremner [Thu, 15 Nov 2012 02:42:38 +0000 (22:42 -0400)]
notmuch-restore: remove extra increment of optind

This is left over from when the file name was a positional parameter.

12 years agotest: Fix HTML rendering test
Austin Clements [Mon, 12 Nov 2012 01:12:07 +0000 (20:12 -0500)]
test: Fix HTML rendering test

The test designed to exercise Emacs' rendering of HTML emails
containing images inadvertently assumed w3m was available under Emacs
23.  The real point of this test was to check that Emacs 24's shr
renderer didn't crash when given img tags, so use shr if it's
available, html2text otherwise (which is built in), and do only a
simple sanity check of the result.

12 years agoemacs: Buttonize mid: links
Austin Clements [Thu, 15 Nov 2012 19:49:54 +0000 (14:49 -0500)]
emacs: Buttonize mid: links

This adds support for RFC 2392 mid: message ID links.

12 years agoemacs: Improve the regexp used to match id:'s in messages
Austin Clements [Thu, 15 Nov 2012 19:49:53 +0000 (14:49 -0500)]
emacs: Improve the regexp used to match id:'s in messages

This regexp agrees with Xapian query syntax much more closely, though
we specifically disallow various cases that would be confusing in the
context of an email body (e.g., punctuation at the end of an id: link
is not considered part of the id: link because it's probably part of
the surrounding text).

In particular, this handles id: links that are not surrounded by
quotes much better, which stash is much more likely to generate now
that we don't quote id's that don't need to be quoted.  It also
handles quoted id: links better.

We update the buttonization test to reflect the new pattern.

12 years agotest: Test buttonization of id: links
Austin Clements [Thu, 15 Nov 2012 19:49:52 +0000 (14:49 -0500)]
test: Test buttonization of id: links

This matches the current behavior of the buttonizer, so it passes, but
many of these cases are not what you'd want (and some of them aren't
even valid Xapian queries).  The next patch will fix the handling of
these cases and update the test.

12 years agotest: expand regex in test/basic
David Bremner [Sat, 10 Nov 2012 19:16:04 +0000 (15:16 -0400)]
test: expand regex in test/basic

Over time, maintaining this very long regex has become irritating,
especially when resolving conflicts.

This patch replaces the call to sed with multiple extra arguments to
find.  Since each test binary is now on it's own line, this should
make resolving conflicts easier.

12 years agodevel: Document schemata in STYLE
Austin Clements [Wed, 7 Nov 2012 15:27:02 +0000 (10:27 -0500)]
devel: Document schemata in STYLE

12 years agoshow: More aggressively document the presence of devel/schemata
Austin Clements [Wed, 7 Nov 2012 15:27:01 +0000 (10:27 -0500)]
show: More aggressively document the presence of devel/schemata

Previously, the only mention of devel/schemata was a comment at the
top of format_part_json, but the JSON output code is spread across
several functions that are distributed across notmuch-show.c.  Add
references from the other three key JSON output functions.

12 years agodevel: Add Reply-to to the schemata
Austin Clements [Wed, 7 Nov 2012 15:27:00 +0000 (10:27 -0500)]
devel: Add Reply-to to the schemata

The code got out of sync with the documentation in 7d3c06dc.

12 years agoemacs/notmuch-show.el: handle bodypart insert error
Tomi Ollila [Sun, 21 Oct 2012 13:35:09 +0000 (16:35 +0300)]
emacs/notmuch-show.el: handle bodypart insert error

When inserting of email bodypart failes, insert a failure message
to the buffer (and continue) instead of halting the insertion of
the rest of that email thread in question.

12 years agotest: add test for showing Reply-To headers
Peter Wang [Tue, 30 Oct 2012 10:12:47 +0000 (21:12 +1100)]
test: add test for showing Reply-To headers

Test that show --format=json now outputs Reply-To header fields when
present.

12 years agoshow: include Reply-To header in json output
Peter Wang [Tue, 30 Oct 2012 10:12:46 +0000 (21:12 +1100)]
show: include Reply-To header in json output

Output the Reply-To header field if present in a message.
I want to be able to see what the sender intended in my mail client,
before hitting the reply key.  Only json output is changed,
like the recently added Bcc field.

12 years agouncrustify.cfg: added 3 new types for uncrustify to know
Tomi Ollila [Fri, 2 Nov 2012 14:07:06 +0000 (16:07 +0200)]
uncrustify.cfg: added 3 new types for uncrustify to know

Added FILE, notmuch_show_params_t and sprinter_t to be
types when uncrustifying sources. This affect spacing
when uncrustify is deciding for type declaration instead
of binary multiplication operation.

12 years agotest: add tests for date:since..until range queries
Jani Nikula [Tue, 30 Oct 2012 20:32:38 +0000 (22:32 +0200)]
test: add tests for date:since..until range queries

A brief initial test set.

12 years agoNEWS: date range search support
Jani Nikula [Tue, 30 Oct 2012 20:32:40 +0000 (22:32 +0200)]
NEWS: date range search support

12 years agoman: document the date:since..until range queries
Jani Nikula [Tue, 30 Oct 2012 20:32:39 +0000 (22:32 +0200)]
man: document the date:since..until range queries

12 years agolib: add date range query support
Jani Nikula [Tue, 30 Oct 2012 20:32:37 +0000 (22:32 +0200)]
lib: add date range query support

Add a custom value range processor to enable date and time searches of
the form date:since..until, where "since" and "until" are expressions
understood by the previously added date/time parser, to restrict the
results to messages within a particular time range (based on the Date:
header).

If "since" or "until" describes date/time at an accuracy of days or
less, the values are rounded according to the accuracy, towards past
for "since" and towards future for "until". For example,
date:november..yesterday would match from the beginning of November
until the end of yesterday. Expressions such as date:today..today
means since the beginning of today until the end of today.

Open-ended ranges are supported (since Xapian 1.2.1), i.e. you can
specify date:..until or date:since.. to not limit the start or end
date, respectively.

CAVEATS:

Xapian does not support spaces in range expressions. You can replace
the spaces with '_', or (in most cases) '-', or (in some cases) leave
the spaces out altogether.

Entering date:expr without ".." (for example date:yesterday) will not
work as you might expect. You can achieve the expected result by
duplicating the expr both sides of ".." (for example
date:yesterday..yesterday).

Open-ended ranges won't work with pre-1.2.1 Xapian, but they don't
produce an error either.

Signed-off-by: Jani Nikula <jani@nikula.org>
12 years agobuild: build parse-time-string as part of the notmuch lib and static cli
Jani Nikula [Tue, 30 Oct 2012 20:32:36 +0000 (22:32 +0200)]
build: build parse-time-string as part of the notmuch lib and static cli

12 years agotest: add smoke tests for the date/time parser module
Jani Nikula [Tue, 30 Oct 2012 20:32:35 +0000 (22:32 +0200)]
test: add smoke tests for the date/time parser module

Test the date/time parser module directly, independent of notmuch,
using the parse-time test tool.

Credits to Michal Sojka <sojkam1@fel.cvut.cz> for writing most of the
tests.

12 years agotest: add new test tool parse-time for date/time parser
Jani Nikula [Tue, 30 Oct 2012 20:32:34 +0000 (22:32 +0200)]
test: add new test tool parse-time for date/time parser

Add a smoke testing tool to support testing the date/time parser
module directly and independent of the rest of notmuch.

Credits to Michal Sojka <sojkam1@fel.cvut.cz> for the stdin parsing
idea and consequent massive improvement in testability.

12 years agoparse-time-string: add a date/time parser to notmuch
Jani Nikula [Tue, 30 Oct 2012 20:32:33 +0000 (22:32 +0200)]
parse-time-string: add a date/time parser to notmuch

Add a date/time parser to notmuch, to be used for adding date range
query support for notmuch lib later on. Add the parser to a directory
of its own to make it independent of the rest of the notmuch code
base.

Signed-off-by: Jani Nikula <jani@nikula.org>
12 years agobuild: drop the -Wswitch-enum warning
Jani Nikula [Tue, 30 Oct 2012 20:32:32 +0000 (22:32 +0200)]
build: drop the -Wswitch-enum warning

-Wswitch-enum is a bit awkward if a switch statement is intended to
handle just some of the named codes of an enumeration especially, and
leave the rest to the default label.

We already have -Wall, which enables -Wswitch by default, and per GCC
documentation, "The only difference between -Wswitch and this option
[-Wswitch-enum] is that this option gives a warning about an omitted
enumeration code even if there is a default label."

Drop -Wswitch-enum to not force listing all named codes of
enumerations in switch statements that have a default label.

12 years agoemacs: Move the incremental JSON parser to notmuch-lib.el
Mark Walters [Sat, 27 Oct 2012 09:34:12 +0000 (10:34 +0100)]
emacs: Move the incremental JSON parser to notmuch-lib.el

This just moves the newly split out incremental json parser (together
with its state variables) to lib.

There should be no functional change.