doc: quiet doxygen warnings

remove some obsolete tags for XML output (which we don't currently
generate in any case)

doc: build and install doxygen api docs

In order to support out of tree builds and avoid hardcoding version
number, generate `doc/config.dox` from configure.

configure: use cc/c++ instead of gcc/g++

Some systems (e.g. FreeBSD 10) do not ship with the GNU Compiler
Collection.  Use generic cc/c++ instead of gcc/g++ (unless the
CC/CXX environment variables are used).

Merge tag '0.18.1'

notmuch 0.18.1 release

version: bump to 0.18.1

Also add precis of NEWS to debian changelog

NEWS: Improve and correct "Fix for phrase indexing" entry

This improves the description of the fix, fixes some typos, and
changes "(re)-indexed" to "indexed" because we have no particular
notion of "re-indexing" a message.

NEWS: quibbles from Tomi

See id:m2vbrsgi7n.fsf@guru.guru-group.fi for details

Merge tag '0.18.1_rc0'

notmuch 0.18.1~rc0 release

version: bump to 0.18.1~rc0

Also bump the python bindings version, the NEWS version and the Debian
version.

Since the changelog is (slightly dubiously) metadata, we have to
change it to upload a release candidate.

NEWS: add news for 0.18.1

This is my summary of the commits from 0.18.

emacs: Forwarded messages should not have modified buffers

When the user begins forwarding a message, the resulting composition
buffer should not be marked as modified, in order that it can
immediately be killed without prompting.

Merge branch 'release'

Austin's termpos patches and Felipe's zlib.pc workaround

configure: add workaround for systems without zlib.pc

Some systems (e.g. FreeBSD) might not have installed the appropriate
pkg-config file as they should. We can workaround the issue by creating
the .pc file they should have distributed.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

lib: Separate all phrases indexed by _notmuch_message_gen_terms

This adds a 100 termpos gap between all phrases indexed by
_notmuch_message_gen_terms.  This fixes a bug where terms from the end
of one header and the beginning of another header could match together
in a single phrase and a separate bug where term positions of
un-prefixed terms overlapped.

This fix only affects newly indexed messages.  Messages that are
already indexed won't benefit from this fix without re-indexing, but
the fix won't make things any worse for existing messages.

test: Known-broken test for overlapping/adjacent termpos

This adds two known-broken tests and one working test related to the
term positions assigned to terms from different headers or MIME parts.
The first test fails because we don't create a termpos gap between
different headers.  The second test fails because we don't adjust
termpos at all when indexing multiple parts.

lib: Index name and address of from/to headers as a phrase

Previously, we indexed the name and address parts of from/to headers
with two calls to _notmuch_message_gen_terms.  In general, this
indicates that these parts are separate phrases.  However, because of
an implementation quirk, the two calls to _notmuch_message_gen_terms
generated adjacent term positions for the prefixed terms, which
happens to be the right thing to do in this case, but the wrong thing
to do for all other calls.  Furthermore, _notmuch_message_gen_terms
produced potentially overlapping term positions for the un-prefixed
copies of the terms, which is simply wrong.

This change indexes both the name and address in a single call to
_notmuch_message_gen_terms, indicating that they should be part of a
single phrase.  This masks the problem with the un-prefixed terms
(fixing the two known-broken tests) and puts us in a position to fix
the unintentionally phrases generated by other calls to
_notmuch_message_gen_terms.

test: Add search tests for combined name/address queries

Two of these are currently known-broken.  We index the name and
address parts in two separate calls to _notmuch_message_gen_terms.
Currently this has the effect of placing the term positions of the
prefixed terms from the second call right after those of the first
call, but screws up the term positions of the non-prefixed terms.

test: Fix from/to search test queries

Two of the search tests for "from" and "to" queries were clearly
trying to search for prefixed phrases, but forgot to shell quote the
phrases.  Fix this by quoting them correctly.

Merge branch 'release'

still painfully slowly assembling 0.18.1

emacs install: make sure all components to be installed are there

`make install-emacs` will copy $(emacs_sources), $(emacs_images) and
$(emacs_bytecode) to their target directories. $(emacs_bytecode) was
already a prerequisite of make install-emacs as these obviously needed
to be build. Until a while ago all of $(emacs_sources) was available
in the repository, but now it includes `notmuch-version.el` which
is generated. In the future we may have generated emacs images too.

debian: update notmuch-emacs for emacsen-common 2.0.8

- redo install/remove scripts from new samples
- symlink .el files properly
- add depends instead of conflicts

debian: tighten dependency of python packages on libnotmuch.

Using (>= ${source:Version}) allows newer versions of the library with
the same SONAME.

Merge branch 'release'

Merge in a few more commits towards 0.18.1

lib: resurrect support for single-message mbox files

This is effectively a revert of

commit 6812136bf576d894591606d9e10096719054d1f9
Author: Jani Nikula <jani@nikula.org>
Date:   Mon Mar 31 00:21:48 2014 +0300

    lib: drop support for single-message mbox files

The intention was to drop support for indexing new single-message mbox
files (and whether that was a good idea in the first place is
arguable). However this inadvertently broke support for reading
headers from previously indexed single-message mbox files, which is
far worse.

Distinguishing between the two cases would require more code than
simply bringing back support for single-message mbox files.

test: use --quick when starting emacs.

At least in emacs24, this removes the "site-lisp" directories from the
load path in addition to enforcing --no-site-lisp --no-init-file.

This works around a slightly mysterious bug on Debian that causes
test-lib.el not to load when there is cl-lib.el(c) in some site-lisp
directory.  It should be harmless in general since we really don't
want to load any files from addon packages to emacs.

build: add dataclean

It turns out to be inconvenient to delete the downloaded datafiles with
distclean, so I propose a new target which does that instead.

The closest conventional target is 'maintainer-clean'; the difference
here is that having the original source tarball is not enough to
reconstruct these files.

build: remove .tar.gz.tmp files in clean

Most people won't see these, but they annoy anyone running release
or pre-release targets.

build: don't overwrite DISTCLEAN in performance-test

This might have worked once for some fixed order of including
makefiles, but it is clearly wrong now.

Merge branch 'release'

A point release is slowly being built on branch release. Merge those
changes into master.

build: fix order of rpath

In my system `pkg-config --libs talloc` returns
'Wl,-rpath,/usr/lib -ltalloc' (probably wrongly) which causes the final
LDFLAGS to be something like '-Wl,-rpath,/usr/lib
-Wl,-rpath,/opt/notmuch/lib', which causes the RUNPATH to be
'/usr/lib:/opt/notmuch/lib', so basically defeating the whole purpose of
RUNPATH.

I noticed this when my /opt/notmuch/bin/notmuch (0.17) started updating
the database after I updated the system (which updated the system's
notmuch). This shouldn't happen.

Let's move the RUNPATH flags before other external flags have a chance of
screwing the build.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

Unset html_static_path in Python bindings docs

html_static_path is a kind of source directory and it was set to
destination directory (../html) which caused infinite recursion with
Sphinx 1.2 and above.

doc/conf.py: Remove _static from html_static_path

Avoid:

  $ make HAVE_SPHINX=1 sphinx-html
  python ./doc/mkdocdeps.py ./doc doc/_build doc/docdeps.mk
  sphinx-build -b html -d doc/_build/doctrees -q ./doc doc/_build/html
  Making output directory...
  WARNING: html_static_path entry '/home/wking/src/notmuch/notmuch/doc/_static' does not exist

because we have no static source in doc/_static.

emacs: make sure tagging on an empty query is harmless

Currently notmuch-tag throws a "wrong-type-argument stringp nil" if
passed a nil query-string. Catch this and provide a more useful error
message. This fixes a case in notmuch-tree (if you try to tag when at
the end of the buffer).

Secondly, as pointed out by David (dme)
`notmuch-search-find-stable-query-region' can return the query string
() if there are no messages in the region. This gets passed to notmuch
tag, and due to interactions in the optimize_query code in
notmuch-tag.c becomes, in the case tag-change is -inbox, "( () ) and
(tag:inbox)". This query matches some strange collection of messages
which then get archived. This should probably be fixed, but in any
case make `notmuch-search-find-stable-query-region' return a nil
query-string in this case.

This avoids data-loss (random tag removal) in this case.

emacs: Correct the documentation for `notmuch-search-line-faces'.

The implementation and documentation for `notmuch-search-line-faces'
disagreed in how elements in the list were merged. Correct the
documentation to match the implementation (that is, the earlier
elements in the list have precedence over later elements).

ruby: Add wrapper for notmuch_query_count_threads

Merge branch 'release'

bugfix release being built up on release.

test: allow pending break points in atomicity script.

This seems to fix problems with the symbol rename not being defined
at startup on at least OS/X and some Debian Linux architectures.

test/Makefile.local: Added configured TALLOC_LDFLAGS.

The linking to talloc is hard-coded in the testing Makefile. This patch
causes the linking to talloc to be done according to how TALLOC_LDFLAGS
was configured.

Signed-off-by: Charles Celerier <cceleri@cs.stanford.edu>

notmuch-dump: use fsync instead of fdatasync

Since the file size will have changed, there is no performance benefit
to calling fdatasync.  Somewhat surprisingly, using fdatasync
apparently causes portability problems on FreeBSD.

Merge in a few Debian commits.

debian: disable atomicity tests on armel.

Another temporary fix for build problems.

debian: disable atomicity tests on armhf

In fact a fix for these tests is currently being reviewed, but I want
to roll it together with a few other portability fixes for a point
release.

Merge tag '0.18'

notmuch 0.18 release

debian: changelog stanza for 0.18

plagiariaze my own summary from upstream NEWS

version: bump to 0.18

debian changelog to be done seperately.

emacs: allow functions in notmuch-show-stash-mlarchive-link-alist

Some archives may use a more complicated scheme for referring to
messages than just concatenated url and message-id. In particular,
patchwork requires a query to translate message-id to a patchwork
patch id. Allow functions in notmuch-show-stash-mlarchive-link-alist
to facilitate this.

For example, one could use something like this for patchwork.

(lambda (message-id)
  (concat
   "http://patchwork.example.com/patch/"
   (nth 0
(split-string
 (car (last (process-lines "pwclient" "search" "-n" "1"
   "-m" (concat "<" message-id ">"))))))))

Merge tag '0.18_rc1'

notmuch 0.18~rc1 release

build: use UPSTREAM_TAG and not VERSION to generate tarball

The latter can have "~" in it, which is not legal for a git tag.

doc/doxygen.cfg: bump version to 0.18

version: bump for 0.18~rc1

Doing all of the needed version bumps in one commit, and do a
complete, if minimal debian changelog entry

vim: improve the way messages are sent

We want the proper encoding and content-type to be set when sending the
mail, but human-readable plain-text for composing. So split the code in
two parts: the presentation and the transport conversion.

This fixes an issue while sending non-ascii mails to strict servers; the
mail needs to be encoded.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: make the html handler configurable

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

vim: fix count_threads variable check

It never really worked; in Ruby only 'nil' and 'false' evaluate to
false, therefore the statement '0 : true ? false' returns true, so it
doesn't matter if notmuch_folders_count_threads = 0, count_threads would
be true.

We need to check specifically if the value is 1 or 0.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

doc: add *.pyc to doc/.gitignore

test: add have-man and have-compact in test/.gitignore

Sort the file while at it.

NEWS: make it explicit that wildcard matching is no longer supported

Wildcard matching was a feature of the probabilistic prefix, and we no
longer have it for the boolean prefix. Also note that top-level folder
can now be searched.

NEWS: insert and new refuse invalid tags

NEWS: message piping working directory

NEWS: emacs: push mark before signature on reply

NEWS: cli exit status codes

NEWS: notmuch insert respects maildir.synchronize_flags

NEWS: add overview section for 0.18

This mentions the things I (subjectively) thought were most likely to
either annoy people or make it worth upgrading.

NEWS: message header parser changes

NEWS: mbox files are no longer supported

NEWS: folder:, path:, and database upgrade

Related news together.

NEWS: replies to encrypted messages encrypted by default

NEWS: Ido initialization for Emacs 23.[123]

building from git: use --abbrev=7 for version string

Users may have set core.abbrev=n, where n != 7 in their git config
file(s) which would give them different than expected version strings
when building notmuch from git. This fixes the commit hash part of
version string to 7 hexadecimal values.

Merge tag '0.18_rc0'

notmuch 0.18~rc0 release

doc: remove conf.pyc on clean

This build artifict messes up the packaging process for (at least)
Debian if not removed on clean.

python: bump version

NEWS: bump version

As usual, we'll just edit the version in place for release candidates.

debian: NEWS item about database upgrade

debian: changelog stanza for 0.18~rc0-1

- make versions match to pacify release-checks.sh
- close a few more bugs.
- fix one HTMLism

version: bump to 0.18~rc0

Start the promised feature freeze

doc: Simplify and clarify notmuch show --format=sexp description

Previously, this was a verbatim copy of the --format=json text.
Change it to instead reference the JSON text and actually describe how
the S-expression format works.

doc: Clarify charset encoding of JSON output

doc: Fix minor formatting issues in notmuch-show.rst

There were some extra line breaks and missing periods.

doc: Clarify notmuch show --format=raw description

In addition to being generally more precise, this is explicit that
there is no charset conversion.

emacs: hello: bugfix for saved searches defcustom

The recent changes for saved searches introduced a bug when notmuch
was loaded after the saved search was defined. This was caused by a
utility function not being defined when the defcustom was loaded.

Fix this by moving some code around: the defcustom is moved into
notmuch-hello (which is a more natural place anyway), and the utility
functions are moved before the defcustom in notmuch-hello. We are
rather constrained as the defcustom for saved searches is the first
variable in the notmuch-hello customize window; to avoid moving this
customize the defcustom needs to be the first defcustom in
notmuch-hello, and the utility functions come before that.

This patch also renames one of the utility functions from
notmuch--saved-searches-to-plist to
notmuch-hello--saved-searches-to-plist (as it is purely local to
notmuch-hello) and corrects a couple of typo/spelling mistakes pointed
out by Tomi.

doc/prerst2man.py: Fix 'os.system' -> 'system' typo

Avoid:

  $ make HAVE_SPHINX=0 HAVE_RST2MAN=1 build-man
  python ./doc/prerst2man.py ./doc doc/_build/man
  Traceback (most recent call last):
    File "./doc/prerst2man.py", line 65, in <module>
      os.system('set -x; rst2man {0} {1}/{2}.{3}'
  NameError: name 'os' is not defined
  make: *** [doc/_build/man/man1/notmuch.1] Error 1

by using system directly.  We don't need the 'os.' namespacing,
because the function was imported with:

  from os import makedirs, system

doc/prerst2man.py: Use Python-3-compatible octal notation

Python 3 only supports the 0oXXX notation for octal literals [1,2],
which have also been supported in 2.x since 2.6 [2].

[1]: https://docs.python.org/3.0/whatsnew/3.0.html#integers
[2]: http://legacy.python.org/dev/peps/pep-3127/

doc/mkdocdeps.py: Use "with" statement for the output file

Before this patch, the open was unnecessarily early and relied on the
process cleanup to close.  Neither one of these was a real problem,
but PEP 343's context managers (which landed in Python 2.5) make
proper cleanup very easy.

[1]: http://legacy.python.org/dev/peps/pep-0343/

doc/mkdocdeps.py: Convert execfile to import

excefile is gone in Python 3 [1].  Instead of exec-ing the
configuration, it's easier to insert the source directory in Python's
path [2], and just import the configuration.  With this change,
mkdocdeps.py is compatible with both Python 2 and 3.

[1]: https://docs.python.org/3.0/whatsnew/3.0.html#builtins
[2]: https://docs.python.org/3/library/sys.html#sys.path

NEWS for displaying tag changes

doc: make notmuch-new summary line more generic

Since 'notmuch new' now takes multiple options, it's confusing to show
only one of them in the summary.

News for changes from Austin Clements

emacs: Honor debug-on-error for part renderers

Previously, even if debug-on-error was non-nil, the debugger would not
trap on part renderer errors.  This made debugging part renderer bugs
frustrating, so let the debugger trap these errors.

configure: fix comment, pass HAVE_CANONICALIZE_FILE_NAME to build

Apparently omitting it is not fatal, but let's be consistent with the
other compat functions.

build: add canonicalize_file_name to symbols exported from libnotmuch.so

This is needed for our compat version of canonicalize_file_name to be used.

doc: Fix parallel build of roff files

The roff build rule builds all of the roff files in a single command.
Previously, this was expressed as a multi-target rule, but since this
is equivalent to specifying a copy of the rule for each target, make
-jN could start up to N parallel instances of this command.  Fix this
by bottlenecking this rule through a single stamp file.

This also removes the unused man.stamp from CLEAN.

NEWS: notmuch-init-file and notmuch-emacs-version related news

Along with those, removed trailing space from subsection title.

NEWS: Document the recent 'nmbug clone' and @{upstream} changes

The changes landed with c200167 (nmbug: Add 'clone' and replace
FETCH_HEAD with @{upstream}, 2014-03-09).

The preferred markup language for NEWS seems to be Markdown, which is
parsed by devel/news2wiki.pl into Markdown chunks for rendering by
ikiwiki [1].

[1]: http://notmuchmail.org/news/

test: use test_expect_equal for PATH test, update message

- The old test was quite impossible to debug; the new one shows the difference
  between the two directories, if any.

- "repository" doesn't make sense for out of tree builds. Or tarball
  builds, for that matter.

nmbug: mark repository as bare on clone

If a git repository is non-bare, and core.worktree is not set, git
tries to deduce the worktree. This deduction is not always helpful, e.g.

% git --git-dir=$HOME/.nmbug clean -f

would likely delete most of the files in the current directory

NEWS: document possible breakage from saved-search format change

If the user has unsorted or alphabetically sorted saved-searches these
should continue to work. If they have some custom lisp sort function
then it will need updating to work with the new saved-sort
format. Document this, and how the updating should be done.

Also roll in fixes for the markdown in the first part of the NEWS
suggested by Tomi: change `just work' to *just work* and removed
periods from the end of subtitle lines.

emacs: hello: bugfix: make alphabetically sorted saved searches work

My recent changes to the saved search format broke the alphabetically
sorted saved sort option. This makes it work again.

Also update docs for saved-search sort defcustom to match the new
format.

Finally, since the saved-search list is no longer an alist change the
names in the sort function to avoid confusion.

emacs: remove auto-signing of replies to signed messages

It was decided that auto-signing is potentially too troublesome for the
apparently common case of users who enable crypto processing for the
purpose of checking signature validity but who are not in a position to
sign out-going messages.  Users can still manually invoke signing as needed.

Encrypting replies to encrypted messages is more of a security issue
so we leave it in place.

emacs: add $(srcdir) to notmuch-version.el.tmpl dependency

This fixes out-of-tree build when generating emacs/notmuch-version.el.

configure: add $(ZLIB_CFLAGS) to CONFIGURE_CFLAGS

As it is defined in CONFIGURE_CXXFLAGS.