ssoma-mda: Add compatibility decoding for the '\x10\x10' encoding

I'm not sure if this was a user error or a Git send-email error, but
notmuch has a message with:

  Subject: =?\x10\x10?q?=5BPATCH=20v7=203/3=5D=20Use=20the=20structured=20formatters=20in=20notmuch-search=2Ec=2E?=
  ...
  Message-Id: <1342766173-1344-4-git-send-email-craven@gmx.net>
  X-Mailer: git-send-email 1.7.11.2

Without this patch, that raises:

  LookupError: unknown encoding:

ssoma-mda: Add compatibility decoding for the 'no' encoding

I'm not sure if this was a user error or a Git send-email error, but
notmuch has a message with:

  Subject: =?no?q?=5BPATCH=203/3=5D=20Add=20=27compose=27=20command?=
  ...
  Message-Id: <1291933972-7186-4-git-send-email-felipe.contreras@gmail.com>
  X-Mailer: git-send-email 1.7.3.2

Without this patch, that raises:

  LookupError: unknown encoding: no

ssoma-mda: Fix RFC-2047 decoding for partially-encoded strings

Avoid:

  TypeError: sequence item 0: expected str instance, bytes found

When an RFC-2047-encoded string contains both an unencoded and an
encoded section.  For example:

  >>> import email.header
  >>> email.header.decode_header('Keld =?ISO-8859-1?Q?J=F8rn_Simonsen?=')
  [(b'Keld ', None), (b'J\xf8rn Simonsen', 'iso-8859-1')]

returns the decoded string in bytes but no charset information for the
first chunk.  I'm not sure what the default charset for header values
is, but RFC 2047 sets itself up to deal with non-ASCII header values
[1], so I'm guessing it's ASCII ;).

[1]: http://tools.ietf.org/html/rfc2047#section-1

ssoma-mda: Decode RFC-2047-encoded From: headers

The examples in RFC 2047 have an encoded name, but an ASCII email
address [1].  Make sure we handle that appropriately.

[1]: http://tools.ietf.org/html/rfc2047#section-8

ssoma-mda: Handle Subject:s that aren't RFC-2047-encoded too

If the string is not RFC-2047 encoded, the charset from decode_header
is None:

  >>> import email.header
  >>> email.header.decode_header('hello')
  [('hello', None)]

so str(decoded, charset) will fail with:

  TypeError: str() argument 2 must be str, not None

Avoid that by checking charset before attempting to decode with
charset.  Since that's a bit awkward, pull it out into its own
_decode_header function.

The Simonsen example is from RFC 2047 [1].

[1]: http://tools.ietf.org/html/rfc2047#section-8

ssoma-mda: Decode RFC-2047-encoded Subject: headers

For example, get [1]:

  'If you can read this you understand the example.'

from a message with:

  Subject: =?ISO-8859-1?B?SWYgeW91IGNhbiByZWFkIHRoaXMgeW8=?=
    =?ISO-8859-2?B?dSB1bmRlcnN0YW5kIHRoZSBleGFtcGxlLg==?=

[1]: http://tools.ietf.org/html/rfc2047.html#section-8

ssoma-mda: Unfold folding whitespace in message subjects

For the RFC specs on folding whitespace, see [1] and [2].  For the
decision to preserve the original folding in Python headers, here's
R. David Murray's comment from 2011-04-18 [3]:

  I have, by the way, come around to the view that we should never be
  introducing or deleting whitespace except when RFC 2047
  encoding/decoding...we are still deleting it in a couple places, and
  I will address that by and by

[1]: https://tools.ietf.org/html/rfc5322#section-2.2.3
[2]: https://tools.ietf.org/html/rfc5322#section-3.2.2
[3]: http://bugs.python.org/issue1372770#msg133974

ssoma-mda: Support UTC dates

For example:

  >>> datetime = email.utils.parsedate_to_datetime('Tue, 21 Dec 2010 03:52:23 -0000')
  >>> datetime.utcoffset() is None
  True

so without this case, we'll get:

  AttributeError: 'NoneType' object has no attribute 'seconds'

ssoma-mda: Support name-less From: headers

For example:

  >>> email.utils.parseaddr('alice@example.net')
  ('', 'alice@example.net')

Now folks with:

  From: alice@example.net

will be stored in the Git commit as:

  "alice@example.net" <alice@example.net>

WIP: ssoma-mda: Translate to Python3.3+, using pygit2 (~0.21.3+)

I'll test with older versions of pygit2 to figure out where the cutoff
is.  And without pygit2 in Debian (even Debian testing), it gets a bit
harder to get this going.  You should be able to use:

  $ apt-get install libgit2-dev
  $ pip install cffi
  $ pip install pygit2

but I haven't fired up a Debian image to test that yet.

Remove everything not needed for ssoma-mda

In preparation for the Python translation.

ssoma-mda: Use the email subject as the commit message

This is more interesting than just using 'mda' all the time, but it's
harder to setup proper quoting around the message without using
third-party Perl modules (e.g. IPC::Run or String::ShellQuote).  This
proof-of-concept patch just assumes the subject doesn't contain
single-quotes (').  This patch also doesn't handle the empty/missing
subject case, which should probably fall back to '<no subject>' or
some such.

I'm fine dropping support for older Gits here, and just using the -m
option to commit-tree.  That landed with 96b8d93a (commit-tree: teach
-m/-F options to read logs from elsewhere, 2011-11-09) in Git v1.7.9,
which was released over 2.5 years ago on 2012-01-27.

It would also be useful (I think) to set the GIT_AUTHOR_NAME,
GIT_AUTHOR_EMAIL, and GIT_AUTHOR_DATE environment variables from the
message header before committing.  I know how to do that using
Python's subprocess module, but I don't know the Perl incantation.

doc: remove HTML

Even with txt2pre, the maintenance/discoverability burden is too
high and lynx still uses too much memory.  Unfortunately, we'll have
to keep our INSTALL.html for a while longer on the server since it's
linked, but not index.html!

ssoma: cleanup IMAP password warnings

password may be an empty string, so we must check length.

ssoma 0.1.0

* doc: describe public-inbox dedupe
* ssoma: lock against concurrent fetch/remote add
* ssoma: avoid redundant slash for expand_path
* extractor: filter out non-message paths

extractor: filter out non-message paths

We may allow files like "README" to appear in ssoma
repositories to reduce confusion.

ssoma: avoid redundant slash for expand_path

This makes our error messages look ugly.

ssoma: lock against concurrent fetch/remote add

A user may manually run ssoma while cron is running,
so avoid any potential synchronization problems in this
case.

doc: describe public-inbox dedupe

Duplicate Message-IDs are uncommon enough to drop.

INSTALL: add tarball link

Some users expect and prefer tarballs.

ssoma: --cron implies --quiet

cronjobs should be quiet, since cron default to emailing the user
on output.

doc: various fixes and URL changes

We don't need a specific list for ssoma, yet, just use the
meta@public-inbox.org list to avoid fragmentation.

ssoma: add --since option for time-limiting imports

This should make it easier to avoid duplicating mail if
you're coming from being a normal mailing list subscriber
and switching to ssoma.

workaround older git without "commit-tree -m"

We need to support older git versions lying around.
Some versions broke argument ordering, too.

mda: keep Status: header when doing injection

Non-public-inbox users may want to archive their personal email
with ssoma, so preserve the Status: line if it exists.  public-inbox
already kills the Status: header.

some minor documentation tweaks

Hopefully clarify things for folks coming from public-inbox.

documentation improvements, HTML page

use Git.pm for efficient cat_blob if available

This reduces the amount of fork+exec and should improve performance
for large imports.

Git*.pm: allow code improvements to flow back to git

By using GPLv2+, we are compatible with AGPLv3+ while still
allowing improvements to flow back into the git-svn modules
distributed with git.

ssoma: add --cron option to sync

Encourages users to add "ssoma sync --cron" to their crontabs
and reduce load spikes.

ssoma: use implicit $_ for simpler arg generation

This makes the loop shorter and judicious use of $_ is OK.

extractor: clarify naming for message delivery

We'll be supporting multiple refs

README: share list with public-inbox

No reason to separate communities this early on.

use flock instead of fcntl locking

We do not need range locking of fcntl locks, so using flock removes
a dependency, hopefully making us easier-to-install.  Also keep in
mind Ruby (and perhaps other scripting language) supports flock
out-of-the-box as well, so it seems flock is easier to support
although fcntl locks offer superior functionality.

cleanup globbing

Calling the glob function explicitly seems to be favored nowadays.

INSTALL: fix misnamed Debian package

While we're at it, sort Makefile.PL so it's harder to
miss things.

Makefile.PL: add parallel tests

These tests are intended to run in parallel.

t/all: fixup test for missing IPC::Run

I forgot to re-enable the test once I ensured things passed without
IPC::Run.

mid2path ignores leading '<' and trailing '>'

This simplifies our code a bit, and hopefully in public-inbox, too.
There is little practical danger of a Message-ID not having '<>',
and having '<>' in all URLs is annoying.
This breaks compatibility.  Fortunately, this project is not
publically announced, yet.

lib/Ssoma/Git*: clarify copyright on original git code

I cannot change the license of git proper, of course.

INSTALL: update documentation

public-inbox (server daemon) is a separate project now
and ssoma is fairly generic.

t/all: IPC::Run is optional in tests

We do not force users to install libraries only needed for testing.

use "Message-ID" capitalization consistently

Technically it's case-insensitive; but "ID" is short for
"identifier" or "identification", and not a fish or a part
of a person's psyche.

ssoma-mda: duplicate prevention

This is mainly for public-inbox, as duplicate message IDs are
usually evidence something is suspicious or a misconfigured SMTP
server/client.

initial commit