Added interfaces/email/interactive/README and be-handle-mail options.

The README should give enough info to install and use the interface.

While I was writing it, I thought that be-handle-mail could use the
--be-dir, --tag-base, and --test options.  generate_global_tags()
helps implement the --tag-base option.

I set up a unittest framework since checking is currently a
pipe-in-emails-by-hand sort of arrangement, which can be slow ;).
Currently only generate_global_tags() is tested.

I also restored "show" to ALLOWED_COMMANDS, since it seems to have
wandered off ;).

be-handle-mail shown to successfully commit partially-failing emails.

I've added the test-case that show it.

More verbose User/UsageError reporting in be-handle-mail

Worked out some kinks in be-handle-mail's autocommit.

For example, it's helpful to actually run the autocommit command ;).

Fixed typos in be-handle-mail error message generation

Adjusted final commit-handling in be-handle-mail.

Now the final commit will run whether or not the preceding commands
raise any exceptions.

Note that since we've added the "--allow-empty" to "be commit", we
don't need to worry about empty commits after read-only actions.

Oops, _now_ I've fixed the multipart generation in be-handle-mail

Merged "be commit --allow-empty from be.wtk-rr"

Added --allow-empty to "be commit"

Previously many backends would silently add an empty commit.  Not very
useful.  When the new --allow-empty flag and related allow_empty
options are false, every versioning backend is guaranteed to raise the
EmptyCommit exception in the case of an attempted empty commit.

Fixed multipart bug in be-handle-mail.Message.response_email()

I hadn't attached the mutipart body to the .response_header, which
meant that the reply lacked target email addresses, etc.

Added --disable-autocommit to be-handle-mail.

Also restored repsonse-message logging to help track down bugs.

be-handle-mail now commits after every successful email execution.

Caveats:

It will produce blank commits after emails that make no changes.
  Todo: --fail-on-null option to "be commit"
It will not commit changes due to emails that are partly successful.
  Todo: add "be revert"

Merged becommands/commit.py addition from be.wtk-rr.

Added becommands/commit.py and minor fixes.

Now we can commit changes from the command line with a unified
interface.  The interface is much less flexible than using your
particular version control system's commit command directly, so this
command is mostly intended for user-interfaces and other tools that
don't want to be bothered with the extra flexibility.

Normalized spacing in rcs.RCS.commit to produce:
  summary
  <BLANKLINE>
  body
  <TRAILING-ENDLINE>
messages regardless of the input string format.

Also fixed a "--complete" handline bug in cmdutil, and some minor
docstring typos in libbe.rcs and .editor.

Added more allowed commands and pseudo-headers to be-handle-mail.

The new pseudo-headers are currently ignored.

Added interfaces/README with commit-deletion notes.

Up to now, my email interface never committed automatically, in order
to avoid locking in inappropriate changes.  However, with the ability
to modify bug status, etc., it could be hard to determine the correct
status with a single email's effects removed.  In order to make that
easier, I'm switching over to a "auto-commit after every user action"
model, and I've looked up the incantations for commit deletion for bzr
and git (the VCSs I use).  These incantations are recorded in
interfaces/README.

Next up: add auto-commit functionality.

be-handle-mail's new DBT-style interface handles the example emails now.

Reworked be-handle-mail to be more like the Debian Bug Tracker.

Changed all the example emails over to the new format.
Now it's time to try them all out and fix all the bugs ;).

Generalized _procmailrc to allow several tags: [be-bug...

This is part of a process to make the email interface more like the
Debian Bug Tracker's.
  http://www.debian.org/Bugs/Reporting

_procmailrc had been out of date anyway, [be-mail] should have been
[be-bug].

Added new_with_comment ability to be-handle-mail.

Waiting for a response so you can get the bug ID for your initial
comment is silly.  Now you don't have to :)

Assorted bugfixes to get reworked be-handle-mail working.

Major be-handle-mail rewrite to make things more modular.

Added Command and Message classes, and use new flexibility in
send_pgp_mime.py.

Oops, forgot to reset from/to_addr in send_pgp_mime.py unittests

Major send_pgp_mime.py reorganization to better integrate with email.Message.

Now send_pgp_mime.py passes it's unittests again, and it should be
easier to use from be-handle-mail :).

Renamed Mail -> EncryptedMessageFactory, since its role is to generate
message bodies of various types (plain, signed, encrypted, ...)

Separated the header processing from Mail, now you need to
  header_from_text()
your header text to create an email.Message which you can use in
EncrypedMessageFactory.sign(), .encrypt(), ...  Once you've created
the body message you want, you can attach it to the header with
  attach_root(header, root_part)
where both header and root_part are email.Message instances.

Made EncryptedMessageFactory doctests more robust, through the use of
 # doctest: +ELLIPSIS, +NORMALIZE_WHITESPACE
which removed the need for the .strip*() methods.

Also added the configurable from_addr and to_addr, which allows you
to run the doctests with successful gpg calls.  Just set them to
some address from your private keyring, and pass the passphrase for
that key in to your test via a file (or gpg-agent...)
  python send_pgp_mime.py -tP path/to/pasphrase/file

Starting to seperate message handling in be-handle-mail.

The goal being to make handling commands differently easier, rather
than just passing off the whole interface to becommands.

Normalized whitespace in be-handle-mail and send_pgp_mime.py.

Also removed "commit after every message" from be-handle-mail,
because
  a) not implemented yet
  b) don't want to commit spam, since we'd have to find a way to
  remove it later.

Suggested future workflow:
  * "bzr diff" to poll for activity, blank output = no activity.
  * on activity:
    1) look at changes
    2) remove whatever
    3) commit email-interface repo.
    4) merge changes into your private repo
  * on private repo changes:
    * if activity in email-interface repo:
      1) deal with email activity as above
    * push your private repo onto the email-interface repo
      (and update the email repos' working tree, if required)

be-handle-mail now handles non-text comments.

This required replacing both the codec-wrapped sys.stdin _and_ the raw
sys.__stdin__ with StringIO(stdin).  becommands/comment will use only
one or the other depending on the comment's content type.

Caveat: Get_body_type only grabs the body and type of the first
non-mulitpart section, which may not be what the user expects.

Todo: Add multiple comments for each part of a multipart message, like
we do in interfaces/xml/be-mbox-to-xml.

In be-handle-mail, don't mess with stdin if the command doesn't need it.

This fixes problems with StringIO(None).

In be-handle-mail, give new bug summary via command line.

Fixes incorrect implementation of _comment_ bodies via stdin in my
  wking@drexel.edu-20090718143517-mkd6toxmcoij3qwk
commit.

Merged some bugfixes from be.wtk-rr

Import sys in becommands/new.py.

Required for reading the bug summary string from stdin.

For be-handle-mail, pass comment body in via a temporary stdin.

This avoids decode-recode issues inside libbe.cmdutil.execute(), as
well as problems due to large comment bodies.

Fixed broken path in libbe.rcs.RCS._rcs_get_file_contents(binary=True).

I'd forgotten to prefix the directory root, so calling
  be show --only-raw-body COMMIT-ID
would fail if you weren't executing it in the repository root.

Corrected author_addr -> info["author_addr"] in be-handle-mail

Fixed typo in one of be-handle-mail's InvalidCommand calls.

Also restored Makefile target to home (from local), which I'd
accidentally committed two commits ago...

Allow external override of libbe.encoding.get_encoding().

The previous procmail encoding fix failed, because the becommand
execution checks libbe.encoding.get_encoding() on it's own, and got
the procmail encoding.  This one works.

Fixed some missing references in be-handle-mail.InvalidSubject

Hardcoded UTF-8 encoding in be-handle-mail.

When run by procmail, the encoding returned by
libbe.encoding.get_encoding is ANSI_X3.4-1968, which chokes on unicode
output.  I can't think of a more elegant solution than hardcoding in
the default encoding.

Added "to_unicode" to send_pgp_mime.flatten()

be-handle-mail wants unicode output, since all it's internal
processing is done with unicode.  However, the flatten calls in
send_pgp_mime work with the encoded binary string output, and
execute(sendmail, stdin=flatten(msg, to_unicode=True)) fails
with
  Exception: u
  while executing /usr/sbin/sendmail -t
  sendmail: fatal: wking(1001): No recipient addresses found in message header

send_pgp_mime.py attempts to avoid UTF-8 for MIMEText messages.

This keeps the transfer-encoding out of base64 if possible.

Also added a "help" example to interafaces/email/interactive/examples.

Added send_pgp_mime.Mail.encodedMIMEText() for unicode handling.

Now be-handle-mail handles examples/unicode without crashing
  cat examples/unicode | ./be-handle-mail -o -l -
But the output email is encoded in base64:

MIME-Version: 1.0
Content-Type: text/plain; charset="utf-8"
Content-Transfer-Encoding: base64
From: BE Bugs <wking@thor.physics.drexel.edu>
To: John Doe <jdoe@example.com>
Date: Sat, 18 Jul 2009 12:22:05 +0000
Subject: [be-bug] Re: show
In-reply-to: <abcd@example.com>

UmVzdWx0cyBvZiBydW5uaW5nOiAoZXhpdCBjb2RlIDApCiAgc2hvdyAKCnN0ZG91dDoKCjw/eG1s
IHZlcnNpb249IjEuMCIgZW5jb2Rpbmc9IlVURi04IiA/Pgo8YnVnPgogIDx1dWlkPmY3Y2NkOTE2
LWI1YzctNDg5MC1hMmUzLThjOGFjZTE3YWUzYTwvdXVpZD4KICA8c2hvcnQtbmFtZT5mN2M8L3No
b3J0LW5hbWU+CiAgPHNldmVyaXR5Pm1pbm9yPC9zZXZlcml0eT4KICA8c3RhdHVzPmZpeGVkPC9z
...

This is perhaps the best we can get out of python < 3.1/2.7, see
  http://bugs.python.org/issue1368247

Fixed options.logfile -> logpath typo in be-handle-mail.open_logfile().

Better unicode handling in be-handle-mail.

be-handle-mail now gets a bit further on
  cat examples/unicode | ./be-handle-mail -o -l - 2>&1 1>/dev/null
It successfully reads in unicode output from the command execution and
successfully prints that output to the log ("-l - 2>&1 1>/dev/null" sets
up the log to be printed to the terminal's stdout).  However, it chokes
later on with
  responding to John Doe <jdoe@example.com>: show
  Traceback (most recent call last):
    File "./be-handle-mail", line 274, in <module>
      main()
    File "./be-handle-mail", line 266, in main
      response_email = compose_response(ret, out_text, err_text, info).plain()
    File "./be-handle-mail", line 210, in compose_response
      LOGFILE.write("\n%s\n\n" % send_pgp_mime.flatten(response_email.plain()))
    File "/home/wking/src/fun/be/be.email/interfaces/email/interactive/send_pgp_mime.py", line 165, in flatten
      g.flatten(msg)
    File "/usr/lib/python2.5/email/generator.py" ...
    ...
  UnicodeEncodeError: 'ascii' codec can't encode character u'\ufffd' in position 2581: ordinal not in
  range(128)

Added tracebacks to be-handle-mail's "uncaught exceptions".

Added an email interface example requesting unicode comment output.

Indeed, be-handle-mail chokes... :(

Added "be-handle-mail --logfile LOGFILE" for sane logfile handling.

The previous setup had been pretty wimpy; now there's a degree of
flexibility.

Added symlinks to libbe and becommands in interfaces/email/interactive.

With this set-up, be-handle-mail run from its own directory will load
your working-state BE setup, not your system-wide BE installation.

Setup be-handle-mail.BE_DIR to point to the BE repo by default.

At least, it points to the directory where be-handle-mail lives.  If
you haven't moved it, that will be somewhere inside the BE repository.

This removes my hardcoded BE_DIR.

"be-handle-mail --output" added to support easy testing.

Removed debugging reply-address adjustment from be-handle-mail.

Everything seems to be working now.  On to the remote tests ;).

be-hand-mail now catches errors and sends appropriate responses.

Now be-handle-mail successfully catches stdout/stderr.

Renamed test->manipulate_encodings in becommands.*.execute.

Reminder from my initial libbe/encoding.py commit:
  Because of the stdout replacement, the doctests executes now need an
  optional 'test' argument to turn off replacement during the doctests,
  otherwise doctest flips out (since it had set up stdout to catch
  output, and then we clobbered it's setup).

I'm also trying to catch stdout/stderr from be-handle-mail, and I ran
into the same problem.  It took me a bit to remember exactly what
"test" was supposed to do, so I thought I'd make the argument name
more specific.  If you need other changes when running in "test" mode,
you'll have to add other kwargs.

Oops again, removed some old debugging logging

Oops, the header keys in be-handle-mail should all be unicode.

Even though I convert to ascii in send_pgp_mime.Mail.__init__(), it's
still good to be consistent inside each module ;).

be-handle-mail succesfully sends replies.

Although I'm not catching stdout/stderr yet, so the replies aren't
very useful ;).  Still it the send_pgp_mime.py interface is working :).

I've added rudimentary logging (via LOGFILE) to keep track of what
be-handle-mail is up to.  There's also BE_DIR, which sets the
directory that BE lives in (important ;).

The author handling got more consistent, thanks to
send_pgp_mime.source_email (using the new return_realname option) and
email.utils.formataddr().  Now author_addr should look the same
regardless of which phrasing you use to set it (e.g. "NAME <ADDR>" vs
"ADDR (NAME)", and possibly others.)

Adjusted _procmailrc to not match reply emails.

You might want to keep the output to read later ;).

Add unicode-header handling to send_pgp_mime.py

Also:

Switched
 email.message_from_string()
to
 email.parser.Parser().parsestr()
for parsing the header, for access to the headersonly option.

Adjusted module import order to alphebetize non-mime email modules.

Added return_realname to source_email(), which makes it more useful to
be-handle-mail (currently uncommitted).

Added a doctest for the plain() output and removed redundant
Content-Type line from the doctests (which we'd removed from the
output with the last commit).

Note that many doctests _will_fail_ unless me@big.edu and you@big.edu
are in your gpg keyring.  At some point I should make those addresses
options to --test...

Minor tweaks in send_pgp_mime.py

 * No reason to set maxheaderlen to something other than the default.
 * MIMEText sets content-type and charset automatically.

Added --mode=plain option to send_pgp_mime.

Also a few more tweaks to get things working.  I think be-handle-mail
is parsing the incoming messages correctly now, but I'm not getting
replies back for some reason.  Some of the adjustments:

  * Moved send_pgp_mime -> send_pgp_mime.py, otherwise Python doesn't
    recognize it as an importable module.
  * I use postfix now instead of msmtp, so send_pgp_mime.sendmail now
    points to postfix's sendmail-compatable frontend.
  * Added "--mode=plain" option to send_pgp_mime.py, so I can test
    my procmail rules and send_pgp_mime itself without worrying about
    be-handle-mail.
  * Fixed some typos in be-handle-mail.

First attempt at real response email.

Added some comments to send_pgp_mime

Incorperated send_pgp_mime into be-handle-mail.

Todo: generate a real response email to replace the current dummy
email.

Ran update_copyright.sh on be-handle-mail and send_pgp_mime.

Added my send_pgp_mime module to the project.

This is a bit of a shameless plug, since there's not much motivation
for encrypting bug emails.  However, I've already written it, and it
does send emails, so I'm using it ;).  Perhaps some company will want
to keep the bug submitter's contact information securely in a BE
database.  Anyhow, there's very little reason to _not_ use PGP, and
the module certainly doesn't force you to encrypt anything. ;)

Don't install xml tools (e.g. be-xml-to-mbox, cattmutt, ...).

There are lots of interfaces.  They should each have seperate
installation targets, to allow the user to pick only the interfaces
they expect to use.

Added be-handle-mail and some example emails.

So far, it parses the emails and executes the specified task.

Todo: email the sender back with the output/errors/exit-status/etc.

Added --author and --alt-id to "be comment".

You could already add this info via the --xml input, now you can do it
from the command line too.

Removed xml.sax cruft from be-mbox-to-xml

Added _procmailrc file for interactive email handling.

The beginnings of an interactive email interface to BE.

With a working procmail setup, copying _procmailrc to ~/.procmailrc
should sort through incoming email to that user, passing all messages
with subjects starting with [be-mail] on to the script be-handle-mail
and deleting the rest.

Now I just need to write be-handle-mail ;).

Merged directory reorganization

libbe/_version.py made PHONY in Makefile.

It should be updated after bzr commits, but Makefile doesn't
understand bzr, so just update every time.

Updated Makefile to match new organization

Reorganized directory structure, mostly to put all the interfaces in
one place and make things clearer to the uninitiated.  Here's my
current understanding:

.
|-- libbe          (the guts of BE)
|-- becommands     (plugins for all "be *" commands)
|-- doc            (documentation, currently just the man page)
|-- interfaces     (non-commandline interface implementations)
|   |-- web
|   |   |-- Bugs-Everywhere-Web    (in Turbogears)
|   |-- gui
|   |   |-- beg    (in Tkinter)
|   |   `-- wxbe   (in WX)
|   |-- email
|   `-- xml        (xml <-> whatever conversion)
`-- misc           (random odds and ends)
    `-- completion (shell completion scripts)

Note that I haven't attempted to use the web or gui interfaces in a
while, so I'm not sure how well they're holding vs the core
development.

Updated README to match current status.

Mostly updated the list of supported VCSs.

Also corrected spacing inconsistency in README.dev.

Updated GPLv2 to current GPLv2.

Fixes Ben's bug 00f26f04-9202-4288-8744-b29abc2342d6.

I also tweaked update_copyright.sh to make possible future
copyright-blurb revision easier.  The new algorithm is greedier,
overwriting _all_ consecutive comments after a '^# Copyright' line, so
do
  # Copyright
  #   GPL ... GPL ... GPL

  # Your comment here...
not
  # Copyright
  #   GPL ... GPL ... GPL
  #
  # Your comment here...
Without the blank line, your comment would get overwritten by the next
run of update_copyright.sh.

Note that catmutt is ignored by update_copyright.sh because Moritz
Barsnick has only licensed his grepm code under the GPLv2 (not
GPLv>=2).  See the initial catmutt commit for details.

Updated setup.py url and switched to rolling version names.

Merged Alex Miller's git-config-not-found patch

Fixed "be --dir --complete"

Added --dir option to "be"

Use CmdOptionParser in "be".

All the becommands have been using cmdutil CmdOptionParser for a long
time, but "be" parsed its options by hand.  Now it used
CmdOptionParser, which makes adding new options much easier.

Added (commented out) /usr/local PREFIX to Makefile.

I got a bit confused and installed be into "/usr/local " instead of
"/usr/local" with
  PREFIX = /usr/local # ${HOME}
With the alternate PREFIX line right there, there should be less
temptation to do again :p.

Added "be comment --xml --ignore-missing-references ID COMMENT".

Now you don't have to edit them out by hand.

be-mbox-to-xml passes attributes on to each part of multipart messages.

Previously "message[<some-attr>]" just returned None if it wasn't set
for that message part, which overwrote anything passed in through
fields.

"from" and "date" added to list of attributes passed along.

For be-xml-to-mbox, "alt-id" was added to Comment._attrs,
and Comment.print_to_mbox was adjusted to handle the case where
we have no information about the parent bug.

With all of this, I can complete the loop
  be-mbox-to-xml example.mbox | be-xml-to-mbox > example2.mbox
without errors :p.

Finally, be-xml-to-mbox has been adjusted to also work on files (it
had previously only handled data via stdin).  We can't add stdin
handling to be-mbox-to-xml though, because the mailbox package needs
an actual file to work on, and I haven't setup a tmpfile workaround
yet...

Altered be-xml-to-mbox to work with non-ASCII input.

Now it runs off xml.etree instead of xml.sax.

Removed "No matching bugs found" from "be list --xml" output.

Added timezone handling to libbe.utility.str_to_time.

Not escaping whitespace (e.g. endlines) outside the XML document root.

ElementTree.XML was choking on them.  I should unescape all whitespace
(e.g. tabs, etc.), but I'm lazy and don't have any XML that's strange
enough to need it ;).

Minor fixes to get unittests working again.

Added be-mbox-to-xml.

Reworked to allow "be comment" to handle unicode strings (see bug
e4ed63f6-9000-4d0b-98c3-487269140141).  The solution was to escape all
the unicode to produce and ASCII string before calling
ElementTree.XML, and then converting back to unicode afterwards.

Added a unicode-containing comment to the end of bug
f7ccd916-b5c7-4890-a2e3-8c8ace17ae3a so that there's a handy unicode
comment for testing.

XML headers (e.g. '<?xml version="1.0" encoding="UTF-8" ?>') are
now added to all xml output from be.

Switched non-text/* encoding library to base64 instead of
email.encoders, which makes that code in libbe/comment.py simpler.

Changed libbe/mapfile.py error encoding from string_escape to
unicode_escape so it can handle unicode.

Everything's still untested, and be-xml-to-mbox doesn't handle unicode
yet, but I felt this commit was getting a bit unwieldy ;).

Went through "closed" bugs looking for miss-categorized bugs.

Found a few that were actually "fixed" and one that I reopened.
Perhaps we should add a "merged" status to the default, so that the
merged bugs don't clutter up the closed bugs category...

Updating "be set --help" and "be status --help".

I don't really like the "defaults to None" for the settings that have
funky initialization procedures (most of them :p), but I'm not sure
how to handle that cleanly yet.  Perhaps
  be set --current
I also need to find a method of adding complicated settings like the
nested lists for severities, etc from the "be set" commandline.

Removed <abentley@panoramicfeedback.com> from copyright blurbs.

These didn't work with my update_copyright.sh.

I went with
  Aaron Bentley and Panometrics, Inc.
instead of
  Aaron Bentley <abentley@panoramicfeedback.com> and Panometrics, Inc.
just because of line length, but I'm open to convincing if people
prefer the latter...

"be comment --xml" now translates comment uuids to alt_ids.

Adjustments to new versioned_property behavior.

Also adjusted libbe/comment.py to move to user-specified alt_ids,
rather than uuids.

Fixed versioned_property(default=None, generator=None) defaults.

Now the behavior conforms to the docstring:
  If both default and generator are None, then the property will be a
  defaulting property which defaults to None.

Fixed minor doctest failure in cmdutil.py

Merged "be comment --xml" code from home.

seems to work ;)

Save whole bugdir in becommands/tag.py.

It doesn't matter now, but at some point Bugdir might implement some
sort of repo-wide caching which would need to be saved.  The
BugDir.save() method should be intelligent enough to not save things
that have not changed, so efficiency should not be effected either.

Simplified error handling in ./be

Removed superfluous nesting in ./be's error catching.  Also replaced
KeyErrors due to unknown commands with the more specific
cmdutil.UnknownCommand, since all sorts of programming errors can
raise KeyErrors.

Untested, since my working tree is a mess at the moment, but what
could go wrong? ;)