mailpipe: flesh out reponse text for invalid messages and signing errors.

This may be a user's first exposure to PGP, so it's a bad idea to be
cryptic ;).

mailpipe: convert to pgp-mime's new Signature verification.

This brings us up to date with the following pgp-mime commit:

  commit 7d4ff835519e6a8fa4273c364b571c2874bd31d5
  Author: W. Trevor King <wking@tremily.us>
  Date:   Thu Sep 20 10:12:38 2012 -0400

    signature: add Signature class for more Pythonic verification.

    Now verify_bytes() returns a list of `Signature`s instead of XML.
    This should be much easier for callers to handle, and it provides a
    layer of insulation between the gpgme-tool output and Python code.

mailpipe: standardize error responses with 'We got' -> 'We received'.

storage: only try and load grades for students.

storage: make [course] parameters optional (e.g. no assistants).

storage: don't try to load empty names.

This avoids problems with configuration files like:

  [course]
  ...
  assistants:
  ...

where the `assistants` field exists but lists no names.

pg.py: make default --encoding 'utf-8' to avoid clobbering ENCODING with None.

Import pygrader, instead of pygrader.ENCODING.

If your just import ENCODING, changing the value rebinds the local
copy, but other modules will still see the original value.

pg.py: add --encoding to override pygrader.ENCODING if you don't like UTF-8.

Use pygrader.ENCODING when loading ConfigParser files.

py.py: add -s/--syslog to redirect logging to syslog (/dev/log).

This is useful for logging requests spawned by procmail or your MDA.

pg.py: set color.USE_COLOR depending on the --color argument.

Otherwise the course loading and other things that avoid use_color
keyword args will end up getting printed in color by default.

Bump to version 0.3.

test: rename maildir messages to have integer unique portions.

The `:2,S` portion of the filename means the messages have version 2
status flags (2), and the messages have been seen (S).

Ran update-copyright.py.

update-copyright: add */.gitignore so maildir placeholders don't get tweaked.

handler:grade: add new handler for submitting grades.

Now profs and TAs can submit grades (points and comments) via email.

storage: add save_grade (useful for upcoming `grade` handler).

storage: split load_grade out from load_grades.

Also rename _load_grade to parse_grade.

These functions will be useful in the upcoming `grade` handler.

mailpipe|handler: centralize student/course extraction from subjects.

handler: remove TypeError check InvalidSubjectMessage.__init__.

Leftover debugging cruft.

mailpipe: don't double-repr subjects for InvalidHandlerMessage responses.

mailpipe: add extra attributes to errors even if current attribute is None.

With the old impementation, a default value of None would keep the
attribute from being added.  For example, if the error is raised with

  error.subject == None

`mailpipe` and `_parse_message` would not override that with their
known value.  Now they will.

handler:get: sort submission messages chronologically.

mailpipe: use `messages.sort(...)`, not `m = sorted(m, ...)`.

handler:get: skip .gitignore messages a la mailpipe._load_messages.

test:mail-in: request Frodo's assignment 1 (better data).

test:frodo: add a comment and submission emails.

We can use the new data to excercise the 'get submission' handling.

test:mail-in: replace tremily with tower addresses.

handler:get: only add comment to submission response if it exists.

This avoids potentially confusing responses like:

> Assignment 1 grade: 8.0
>
> None

test:mail-in: add test emails excercising `handler.get`.

handler:get: Responses from this handler are complete.

This avoids double-signing emails and other atrocities.

mailpipe|handler: add `complete` option to control Response mangling.

Some handlers may return their emails fully formed, and we won't want
to mess with them.

mailpipe: respond with the fleshed out message, not the original.

We've just added an author, targets, subject, etc.  None of that
matters if you send the original version.

Also print check that the subject is not None before we remove any
subject fields.  This shouldn't matter (del-ing a None subject should
be a no-op), but it seems safer to print the offending message before
messing with it.

handler:get: log email construction to troubleshoot parsing.

mailpipe|handler: raise exceptions during PGP message verification.

This avoids the silly "return None on error" convention and allows for
more detailed handling of unsigned messages (vs. improperly signed
messages).

storage: cleanup StubCourse after load_course doctest.

pg.py|mailpipe: add --trust-email-infrastructure.

pg.py: send_emails (and thus, Responder) no longer takes use_color.

pg.py: fix incomming -> incoming typo for --respond help.

mailpipe: sort messages chronologically before processing.

mailpipe: print error messages when we continue_after_invalid_message.

Since we're not raising the message, we should log it.  Otherwise the
user may not know that something is amiss.

pg.py: default to continue_after_invalid_message=True when calling mailpipe.

This lets us process a whole mailbox without dying on every invalid
message.  Consider an unfiltered, general-purpose mailbox with lots of
unrelated emails, which can be successfully parsed with
`continue_after_invalid_message`.

mailpipe: add a warning message before loading a message from a stream.

This reminds you if you forget to use the `--mailbox` option when
calling `pg.py`, and the process hangs waiting for a message on stdin.

gitignore: add `dist` (created by `setup.py sdist`).

mailpipe: skip `.gitignore` files in Maildir mailboxes.

I use empty `.gitignore` files so Git will create the
`test/mail-in/new` and `test/mail-in/tmp` directories on checkout, but
the Maildir mailbox thinks they are messages.  Since the files are
*not* messages, skip them when constucting the Maildir message list.

I don't foresee any side effects from this (it's an odd filename for
real Maildir delivery), but I log the skipped filenames just in case.

mailpipe: flesh out InvalidMessage attributes before raising exceptions.

This tacks on all the interesting attribute data which the function
that originally raised the exception may not have known about.  We
want this metadata in all cases, not just those where we are
constructing a response message.

mailpipe: fix InvalidHandlerMessage error message construction.

`target` is an explicit argument, not in `**kwargs`.

I also removed the InvalidHandlerMessage error logging, because we're
raising an exception.  The calling function can log the exception if
it catches it.  If it doesn't, the user will see the message in the
traceback.

handler: add InvalidMessage.message_id convenience method.

test:mail-in: add example emails for manual testing.

color: add ColoredFormatter for more transparent coloring.

This way we don't have to pass use_color around all over the place.

mailpipe|handler: with the Response framework, handlers don't need `original`.

mailpipe: replace `respond` callback with exceptions.

Now mailpipe sub-functions will raise Response or InvalidMessage when
they want to respond to the incoming email.  This takes advantage of
Python's exception handling to avoid passing the `respond` callback
all over the place.  It also allows us consolidate error message
construction in `_get_error_response`, which will lead to both simpler
program logic and more consistent response messages.

Other changes to make this cleaner:

* Renamed functions in pygrader.email:
    _construct_email -> construct_email
    construct_email -> construct_text_email
* Pulled _get_assignment out of submission.run.

handler:get: add `get` handler for grade requests.

handler:submission: fix non-lowercase subject assignment matching.

Also accept (and ignore) unrecognized keyword arguments in run().
This will allow interoperability with other handlers which may take
other arguments.

template: add targets argument to construct_student_email.

README: elaborate on grade file format and mailpipe processing.

handler:submission: add doctest to run().

template: remove extra blank lines from construct student email.

By fixing STUDENT_TEMPLATE to remove blank lines due to grades without
comments.

Also remove NORMALIZE_WHITESPACE from template doctests, which had
been there to match tabs (doctest expands hard tab characters to
spaces using 8-column tab stops).  However, with NORMALIZE_WHITESPACE
it was impossible to test for extra blank lines.

mailpipe: clarify the source of missing `Return-Path` (bad email)

mailpipe: add .authenticated attribute to _get_verified_message results.

This will allow message handlers to easily determine if the message
they're processing is from an authenticated user.

mailpipe: add support for multi-part subjects in _get_message_subject.

mailpipe|handler: split mailpipe's submission handler into its own module.

Now you must use a tag target (e.g. `[submit]`) in your email header
to let mailpipe know which handler you want processing your email.
With the new setup, we can easily add additional handlers (e.g. for
grade requests).

mailpipe: split initial _parse_message processing into sub-functions.

New functions:

* _get_message_person_and_subject  (which calls the others internally)
* _get_message_person
* _get_decoded_message
* _get_message_subject

With the previous implementation, all the inline error handling was
making the intended logic of _parse_message difficult to follow.

mailpipe: update doctests now that I'm using GnuPG v2.0.19.

setup.py: explicitly list Python 3.2 and 3.3 as supported.

Bump to version 0.2.

Add MANIFEST.in to distribute COPYING.

Add --respond option to pg.py's mailpipe command.

Finish mailpipe respond() doctests.

Also:
* Add course.name configuration to README example.
* Standardize course.name examples on the more formal `Physics 101`.
* Standardize robot nickname examples on `phys-101 robot`.

Document course.robot and assignment.submittable in the README.

Reject attempted submissions for unsubmittable assignments in mailpipe.

This implements the expected behaviour for the option created by:

  commit 80639ff31b3bc6780659f526d518526cf63fcaec
  Author: W. Trevor King <wking@tremily.us>
  Date:   Tue Apr 24 16:48:56 2012 -0400

    Add Assignment.submittable attribute to configure student submission.

Initial `respond` implementation in the `mailpipe` module.

Add Assignment.submittable attribute to configure student submission.

If `Assignment.submittable` is `True`, mailpipe will accept student
submissions for that assignment.  However, there may also be
assignments where you don't want to accept direct submissions
(e.g. attendance and written, in-class exams).  For these assignments,
you should leave the `submittable` option at its default `False`
value.

Note that `mailpipe` doesn't use this value yet (implementation coming
soon).

pgp_mime.pgp.verify() no longer needs deepcopy().

Since the pgp-mime commit:

  commit 49802119d7846c7ffd6d72a46068aff014361b59
  Author: W. Trevor King <wking@tremily.us>
  Date:   Tue Apr 24 16:01:17 2012 -0400

    Always return a new Message instance from pgp.verify().

Add Course.robot attribute (for automatic email generation).

I'm getting things set up to send automatic responses when mailpipe
processes incoming email, which means someone's going to have to be
signing that email for security.  Since you probably don't want to
leave your secret PGP key on the mailserver, you can now setup a new
(and less important) PGP key for each course.  The Course.robot is
just a Person instance to hold that key and an appropriate nickname.

If you want to use your own key when you call pg.py from the command
line, you can always setup a shell alias.  In Bash:

  alias pg.py='/usr/bin/pg.py --author="John Doe"'

Pull _construct_email out of construct_email and add construct_response.

_construct_email() handles general tasks for setting up the main email
header.  construct_email() combines this with a simple text/plain body,
while construct_response() uses a multipart/mixed format suitable for
sending message receipts to users.

Fix Built -> Build typo in construct_email docstring.

Add docstring and doctest to message_time().

Add Course.name attribute (for clearer email generation).

Add mailpipe doctests and allow saving from stream to an output maildir.

Add pygrader.test.course for managing testing course directories.

Add pygrader.test with asyncore SMTP client/server implemenations.

This should make it easier to build integration tests for `mailpipe()`.

Remove myself as the hardcoded default sender.

Use the first assistant instead, since they are the most likely person
to be running this database.

Always sign/encrypt outgoing email in construct_email().

Remove the `sign` option.  If you've configured pgp_keys for the
correspondents, it's because you want to use them.

This commit also ensures that the sender is also encluded on the
recipient list for encryption, although there is currently no copy of
the email forwarded to the sender.

Update to use pgp-mime v0.3

Change my email address from drexel.edu to tremily.us.

Oops, missed some pygrade -> pygrader updates in model/course.py.

Log the gpg_message in mailpipe._get_verified_message instead of printing it.

Fix storage.load_person doctest typo (actually print the PGP key).

Add AUTHORS to .gitignore (generated by update-copyright.py).

Remove fingerprint stuff from the README (waiting on a GPGME agent).

Fix link to Alex's pygrade in the README.

Oops, missed some pygrade -> pygrader updates in setup.py.

Mention update-copyright in the README.

Ran update-copyright.py.

Begin versioning!  (better late than never)