Cache data strings in libbe.diff.DiffTree.

This makes repeated .report() generation from the same tree more
efficient.

Major rewrite of libbe.diff introduces DiffTree and Diff classes.

To make the interface proposed by becommands/subscribers.py easier to
implement, I've moved the libbe.diff functionality into classes.  Now
it should be easy two tweak the output as desired by subclassing these
classes.  The basic idea is that Diff.report_tree() generates a
diff_tree tree of changes between two bugdirs, where diff_tree is some
subclass of DiffTree.  Each type of change has a default .*_string()
method producing a string summary of the change.  DiffTree.report()
moves through and generates a report by joining all those summary
strings to a single root, and DiffTree.report_string() serialized the
report to produce e.g. the output of becommands/diff.py.

.sync_with_disk fixes for libbe.bugdir and .comment.

In BugDir, only call bug.remove if bug.sync_with_disk==True.  If it's
just in memory, automatic garbage collection is sufficient cleanup.

Comment.set_sync_with_disk() had been setting .sync_with_disk=True
regardless of the value passed in.  Fixed now.

Also some minor textual adjustments.

Added DiskAccessRequired errors to libbe.bug.Bug and .comment.Comment.

BugDir._in_memory was a stupid idea.  Took it back out.

It was too confusing having three memory access levels:
  1) syncronized
  2) explicit
  3) memory-only
with .sync_with_disk selecting between 1 and 2/3 and ._in_memory
selecting between 2/3.

Now there are only two:
  1) syncronized
  2) memory-only excepting explicit BugDir.save() calls.

I avoid the problem of non-syncronized loading of on-disk bugs in
simple_bug_dir by restricting .list_uuids() to in-memory bugs when
.sync_with_disk==True.

Beyond that, I shifted the order of the BugDir methods around a bit so
that they were better grouped according to general idea.

Note that the DiskAccessRequired exceptions on filesystem access when
.sync_with_disk==False should be propogated to the Bug and Comment
methods, but I haven't done that yet.

Added in_memory to BugDir.__init__ to disable saving/loading completely.

The previous simple_bug_dir(on_disk==False) supprised me by loading my
BE bugdir when called from the BE directory.  This functionality could
probably move out to Bug and Comment as well, but I have avoided that
for now.

Added on_disk option to libbe.bugdir.simple_bug_dir().

Now you can easily generate simple_bug_dirs that live only in memory.

Renamed Comment.From and .time_string to .author and .date respectively.

Now they conform to the
  libbe.settings_object.setting_name_to_attr_name()
standard.

I fixed the references I found in
  becommands/comment.py
  interfaces/xml/be-mbox-to-xml
  interfaces/xml/be-xml-to-mbox
but there may have been some references or files that slipped through.

Added autocommit wishlist request by Martin Krafft

be-handle-mail successfully generates bugdir-changed notification emails.

This still needs a lot of cleaning up, but it worked for an "all"
subscription to "DIR", so I thought I'd lock in the current status ;).

"be diff" now compares agains the last commit (for versioning VCSs).

This is the default behaviour of most of the VCSs own diff commands.

Added .revision_id() to all the VCSs.

This makes it easier to compare recent revisions without a human
around to give you revision numbers.

Broke encodedMIMEText out of send-pgp-mime.PGPMimeMessageFactory.

It's useful enough even when you're not intending to encrypt
something.

Added Tree types and get_bugdir_subscribers to becommands/subscribe.py.

The Tree subclass SubscriptionType may be a few more lines to setup,
but they should be really easy to extend and will automatically keep
the longhelp and type handling in sync.

An example extension for bugdir types would be
  all -> assigned -> <user>
to subscribe only to bugs being assigned to the specified user.  You'd
have to loosen the currently strict InvalidType checking to make that
work, but the current type-tree handling would be up to the task.

Also a bit of reorganizing to hide the private functions.

Merged libbe.diff upgrades and libbe.tree.Tree.has_descendant from be.wtk-rr.

Also pulls "show referenced text" fix to "be comment".

Added bugdir setting comparision to libbe.diff.

Renamed libbe.diff.diff -> bug_diffs, since it doesn't compare bugdirs.

Load comments before bug comparision so cmp_comments will see them.

Use .settings_properties rather than static lists to create attribute
lists for change_lines().

Removed trailing endline from becommands/diff.py output.

Added libbe.bug.cmp_comments(), and added that to default bug comparison.

Fixed unrecognized "Test" typo in becommands/comment.py.

Added comment on notification granularity (commit-level).

Added libbe.tree.Tree.has_descendant().

Tree equality is now based on instance id.  It had previously used the
default list "equal if all elements are equal", which meant that all
the leaves matched each other.

libbe/tree.Tree.traverse(depthFirst)->depth_first & stripped trailing spaces.

Added becommands/subscribe.py to manage subscription list.

Show text of comment's reference in notes when spawning EDITOR.

Merged assorted changes from be.wtk-rr for BugDir.extra_strings.

Other highlights:
  * be show --no-comments
  * Improved *.sync_with_disk.
  * Improved be-mbox-to-xml.

Added: subscribe/unsubscribe (bug #..., "new bugs", "all", etc.)

Added .extra_strings to BugDir and Comment

I'll add Comment.extra_strings too, while I'm at it.

Added BugDir.extra_strings.

Bug._extra_strings_check_fn() guts now utility.iterable_full_of_strings().

Merged libbe.properties unittest fix

libbe.properties unittest changes due to "extra change-hook save" fix.

Missed these earlier.

I imported a few threads from the mailing list as wishlist bugs.

12c:uw: Bug aggregation.  Multi-repo meta-BE?
529:ow: How should we version BE?
2f0:aw: Static html report generation
22b:aw: Sorting targets chronologically
d99:aw: CherryPy interface "Cherry-flavored BE"
e08:aw: Interactive email interface

Added "--no-comments" to "be show".

Also moved the XML-header line to the top of the argument loop, since
there should only be one.  We're still missing global tags wrapping the
whole thing though...

Also set options.XML default to False.  It had been defaulting to
None, which was breaking the non-XML newline-adding check.

be-mbox-to-xml is now better at message-id, in-reply-to, and references.

A previous "len(ret) >= 0" had been stripping the alt-id and
in-reply-to from _all_ parts of multipart comments.  Now it only
strips them from parts after the first.  The following parts do not
specify and alt-id, and they all are in-reply-to the first part.

I also added the KNOWN_IDS list for selecting amongst an array of
possible in-reply-to or references ids.  This works well enough for
now, but would be more robust if we could import a list of previously
known ids from BE...

"be comment --xml" now saves the comments (again).

They are generated in memory (from_disk defaults to False)
  133:  new = comment.Comment(bug)
With the leaner saving since I started trusting sync_with_disk, they
were no longer making it to disk.

Easily fixed with an explicit save once you've got them all set up.

be-mbox-to-xml handles emails without explicit transfer encodings.

Added cProfile notes to README.dev.

Fixed extra change-hook save in testChangeHookMutableProperty.

The actual fix was

@@ -339,7 +355,10 @@
         fset = funcs.get("fset")
         name = funcs.get("name", "<unknown>")
         def _fget(self, new_value=None, from_fset=False): # only used if mutable == True
-            value = fget(self)
+            if from_fset == True:
+                value = new_value # compare new value with cached
+            else:
+                value = fget(self) # compare current value with cached
             if _cmp_cached_mutable_property(self, "change hook property", name, value) != 0:
                 # there has been a change, cache new value
                 old_value = _get_cached_mutable_property(self, "change hook property", name)

The reason for the double-save was:

  >>> print t.settings["List-type"]==EMPTY
  True
    (the cached value here is EMPTY)
  >>> t.list_type = []
    (old fget compares cached EMPTY to current EMPTY, no change, so no
     cache.  fset notices change and saves EMPTY->[])
  >>> t.list_type.append(5)
    (now fget notices the change EMPTY->[], caches [], and calls extra save)

The new way:

  >>> print t.settings["List-type"]==EMPTY
  True
    (the cached value here is EMPTY)
  >>> t.list_type = []
    (fget compares cached EMPTY to new [] and saves EMPTY->[])
  >>> t.list_type.append(5)
    (fget sees no change ([]->[]), which is correct)

In addition to the fix and the related corrections to
testChangeHookMutableProperty, I added details about mutables to all
relevant docstrings and stripped trailing whitespace from both files.

Touched up becommands/diff.py's help message.

Cleaned up saving/sync_with_disk.

Got rid of a whole bunch of redundant .save() calls when
sync_with_disk==True.

Fixed up the "File-system access" portion of the BugDir docstring so
we can all remember how things are supposed to work ;).

Note that some .save() calls are still required.  For example in
becommands/merge.py, the copied comments have their .bug changed, but
that is not a versioned property, so it doesn't trigger an automatic
save, and we have to force the .save() by hand.

libbe.rcs.RCS.mkdir() is now recursive by default, but you can set
check_parents==False if you want it to fail in the case of missing
parents.  Because of the recursion, we removed the .update() call
on preexisting directories, since there will be at least one of
these occurrences for every .mkdir(check_parents=True) call, and
I don't know of any VCS that actually needs them...

Also stripped trailing whitespace from some files...

Cleaned up some outdated libbe.settings_object.EMPTY cruft.

From back before commit
  wking@drexel.edu-20090619184215-nfx205yaj02sqrqx
cleaned up the versioned_property implementation.

Also a few style fixes and typos.

Use shlex.split() to parse control lines in be-handle-mail.

Split arguments following POSIX rather than at all whitespace.

Added pseudo-header list to interfaces/email/interactive/README.

Also some minor textual cleanups.

Added psuedo-header handling to be-handle-mail.

Many psuedo-headers had been ignored.  Now they are all implemented.

Getting this working exposed a few bugs in error message generation
for Commands with IDs in their argument list.  These bugs should now
be fixed.

Added more VCSs to the delete-commit notes in interfaces/README.

Added interfaces/email/interactive/README and be-handle-mail options.

The README should give enough info to install and use the interface.

While I was writing it, I thought that be-handle-mail could use the
--be-dir, --tag-base, and --test options.  generate_global_tags()
helps implement the --tag-base option.

I set up a unittest framework since checking is currently a
pipe-in-emails-by-hand sort of arrangement, which can be slow ;).
Currently only generate_global_tags() is tested.

I also restored "show" to ALLOWED_COMMANDS, since it seems to have
wandered off ;).

be-handle-mail shown to successfully commit partially-failing emails.

I've added the test-case that show it.

More verbose User/UsageError reporting in be-handle-mail

Worked out some kinks in be-handle-mail's autocommit.

For example, it's helpful to actually run the autocommit command ;).

Fixed typos in be-handle-mail error message generation

Adjusted final commit-handling in be-handle-mail.

Now the final commit will run whether or not the preceding commands
raise any exceptions.

Note that since we've added the "--allow-empty" to "be commit", we
don't need to worry about empty commits after read-only actions.

Oops, _now_ I've fixed the multipart generation in be-handle-mail

Merged "be commit --allow-empty from be.wtk-rr"

Added --allow-empty to "be commit"

Previously many backends would silently add an empty commit.  Not very
useful.  When the new --allow-empty flag and related allow_empty
options are false, every versioning backend is guaranteed to raise the
EmptyCommit exception in the case of an attempted empty commit.

Fixed multipart bug in be-handle-mail.Message.response_email()

I hadn't attached the mutipart body to the .response_header, which
meant that the reply lacked target email addresses, etc.

Added --disable-autocommit to be-handle-mail.

Also restored repsonse-message logging to help track down bugs.

be-handle-mail now commits after every successful email execution.

Caveats:

It will produce blank commits after emails that make no changes.
  Todo: --fail-on-null option to "be commit"
It will not commit changes due to emails that are partly successful.
  Todo: add "be revert"

Merged becommands/commit.py addition from be.wtk-rr.

Added becommands/commit.py and minor fixes.

Now we can commit changes from the command line with a unified
interface.  The interface is much less flexible than using your
particular version control system's commit command directly, so this
command is mostly intended for user-interfaces and other tools that
don't want to be bothered with the extra flexibility.

Normalized spacing in rcs.RCS.commit to produce:
  summary
  <BLANKLINE>
  body
  <TRAILING-ENDLINE>
messages regardless of the input string format.

Also fixed a "--complete" handline bug in cmdutil, and some minor
docstring typos in libbe.rcs and .editor.

Added more allowed commands and pseudo-headers to be-handle-mail.

The new pseudo-headers are currently ignored.

Added interfaces/README with commit-deletion notes.

Up to now, my email interface never committed automatically, in order
to avoid locking in inappropriate changes.  However, with the ability
to modify bug status, etc., it could be hard to determine the correct
status with a single email's effects removed.  In order to make that
easier, I'm switching over to a "auto-commit after every user action"
model, and I've looked up the incantations for commit deletion for bzr
and git (the VCSs I use).  These incantations are recorded in
interfaces/README.

Next up: add auto-commit functionality.

be-handle-mail's new DBT-style interface handles the example emails now.

Reworked be-handle-mail to be more like the Debian Bug Tracker.

Changed all the example emails over to the new format.
Now it's time to try them all out and fix all the bugs ;).

Generalized _procmailrc to allow several tags: [be-bug...

This is part of a process to make the email interface more like the
Debian Bug Tracker's.
  http://www.debian.org/Bugs/Reporting

_procmailrc had been out of date anyway, [be-mail] should have been
[be-bug].

Added new_with_comment ability to be-handle-mail.

Waiting for a response so you can get the bug ID for your initial
comment is silly.  Now you don't have to :)

Assorted bugfixes to get reworked be-handle-mail working.

Major be-handle-mail rewrite to make things more modular.

Added Command and Message classes, and use new flexibility in
send_pgp_mime.py.

Oops, forgot to reset from/to_addr in send_pgp_mime.py unittests

Major send_pgp_mime.py reorganization to better integrate with email.Message.

Now send_pgp_mime.py passes it's unittests again, and it should be
easier to use from be-handle-mail :).

Renamed Mail -> EncryptedMessageFactory, since its role is to generate
message bodies of various types (plain, signed, encrypted, ...)

Separated the header processing from Mail, now you need to
  header_from_text()
your header text to create an email.Message which you can use in
EncrypedMessageFactory.sign(), .encrypt(), ...  Once you've created
the body message you want, you can attach it to the header with
  attach_root(header, root_part)
where both header and root_part are email.Message instances.

Made EncryptedMessageFactory doctests more robust, through the use of
 # doctest: +ELLIPSIS, +NORMALIZE_WHITESPACE
which removed the need for the .strip*() methods.

Also added the configurable from_addr and to_addr, which allows you
to run the doctests with successful gpg calls.  Just set them to
some address from your private keyring, and pass the passphrase for
that key in to your test via a file (or gpg-agent...)
  python send_pgp_mime.py -tP path/to/pasphrase/file

Starting to seperate message handling in be-handle-mail.

The goal being to make handling commands differently easier, rather
than just passing off the whole interface to becommands.

Normalized whitespace in be-handle-mail and send_pgp_mime.py.

Also removed "commit after every message" from be-handle-mail,
because
  a) not implemented yet
  b) don't want to commit spam, since we'd have to find a way to
  remove it later.

Suggested future workflow:
  * "bzr diff" to poll for activity, blank output = no activity.
  * on activity:
    1) look at changes
    2) remove whatever
    3) commit email-interface repo.
    4) merge changes into your private repo
  * on private repo changes:
    * if activity in email-interface repo:
      1) deal with email activity as above
    * push your private repo onto the email-interface repo
      (and update the email repos' working tree, if required)

be-handle-mail now handles non-text comments.

This required replacing both the codec-wrapped sys.stdin _and_ the raw
sys.__stdin__ with StringIO(stdin).  becommands/comment will use only
one or the other depending on the comment's content type.

Caveat: Get_body_type only grabs the body and type of the first
non-mulitpart section, which may not be what the user expects.

Todo: Add multiple comments for each part of a multipart message, like
we do in interfaces/xml/be-mbox-to-xml.

In be-handle-mail, don't mess with stdin if the command doesn't need it.

This fixes problems with StringIO(None).

In be-handle-mail, give new bug summary via command line.

Fixes incorrect implementation of _comment_ bodies via stdin in my
  wking@drexel.edu-20090718143517-mkd6toxmcoij3qwk
commit.

Merged some bugfixes from be.wtk-rr

Import sys in becommands/new.py.

Required for reading the bug summary string from stdin.

For be-handle-mail, pass comment body in via a temporary stdin.

This avoids decode-recode issues inside libbe.cmdutil.execute(), as
well as problems due to large comment bodies.

Fixed broken path in libbe.rcs.RCS._rcs_get_file_contents(binary=True).

I'd forgotten to prefix the directory root, so calling
  be show --only-raw-body COMMIT-ID
would fail if you weren't executing it in the repository root.

Corrected author_addr -> info["author_addr"] in be-handle-mail

Fixed typo in one of be-handle-mail's InvalidCommand calls.

Also restored Makefile target to home (from local), which I'd
accidentally committed two commits ago...

Allow external override of libbe.encoding.get_encoding().

The previous procmail encoding fix failed, because the becommand
execution checks libbe.encoding.get_encoding() on it's own, and got
the procmail encoding.  This one works.

Fixed some missing references in be-handle-mail.InvalidSubject

Hardcoded UTF-8 encoding in be-handle-mail.

When run by procmail, the encoding returned by
libbe.encoding.get_encoding is ANSI_X3.4-1968, which chokes on unicode
output.  I can't think of a more elegant solution than hardcoding in
the default encoding.

Added "to_unicode" to send_pgp_mime.flatten()

be-handle-mail wants unicode output, since all it's internal
processing is done with unicode.  However, the flatten calls in
send_pgp_mime work with the encoded binary string output, and
execute(sendmail, stdin=flatten(msg, to_unicode=True)) fails
with
  Exception: u
  while executing /usr/sbin/sendmail -t
  sendmail: fatal: wking(1001): No recipient addresses found in message header

send_pgp_mime.py attempts to avoid UTF-8 for MIMEText messages.

This keeps the transfer-encoding out of base64 if possible.

Also added a "help" example to interafaces/email/interactive/examples.

Added send_pgp_mime.Mail.encodedMIMEText() for unicode handling.

Now be-handle-mail handles examples/unicode without crashing
  cat examples/unicode | ./be-handle-mail -o -l -
But the output email is encoded in base64:

MIME-Version: 1.0
Content-Type: text/plain; charset="utf-8"
Content-Transfer-Encoding: base64
From: BE Bugs <wking@thor.physics.drexel.edu>
To: John Doe <jdoe@example.com>
Date: Sat, 18 Jul 2009 12:22:05 +0000
Subject: [be-bug] Re: show
In-reply-to: <abcd@example.com>

UmVzdWx0cyBvZiBydW5uaW5nOiAoZXhpdCBjb2RlIDApCiAgc2hvdyAKCnN0ZG91dDoKCjw/eG1s
IHZlcnNpb249IjEuMCIgZW5jb2Rpbmc9IlVURi04IiA/Pgo8YnVnPgogIDx1dWlkPmY3Y2NkOTE2
LWI1YzctNDg5MC1hMmUzLThjOGFjZTE3YWUzYTwvdXVpZD4KICA8c2hvcnQtbmFtZT5mN2M8L3No
b3J0LW5hbWU+CiAgPHNldmVyaXR5Pm1pbm9yPC9zZXZlcml0eT4KICA8c3RhdHVzPmZpeGVkPC9z
...

This is perhaps the best we can get out of python < 3.1/2.7, see
  http://bugs.python.org/issue1368247

Fixed options.logfile -> logpath typo in be-handle-mail.open_logfile().

Better unicode handling in be-handle-mail.

be-handle-mail now gets a bit further on
  cat examples/unicode | ./be-handle-mail -o -l - 2>&1 1>/dev/null
It successfully reads in unicode output from the command execution and
successfully prints that output to the log ("-l - 2>&1 1>/dev/null" sets
up the log to be printed to the terminal's stdout).  However, it chokes
later on with
  responding to John Doe <jdoe@example.com>: show
  Traceback (most recent call last):
    File "./be-handle-mail", line 274, in <module>
      main()
    File "./be-handle-mail", line 266, in main
      response_email = compose_response(ret, out_text, err_text, info).plain()
    File "./be-handle-mail", line 210, in compose_response
      LOGFILE.write("\n%s\n\n" % send_pgp_mime.flatten(response_email.plain()))
    File "/home/wking/src/fun/be/be.email/interfaces/email/interactive/send_pgp_mime.py", line 165, in flatten
      g.flatten(msg)
    File "/usr/lib/python2.5/email/generator.py" ...
    ...
  UnicodeEncodeError: 'ascii' codec can't encode character u'\ufffd' in position 2581: ordinal not in
  range(128)

Added tracebacks to be-handle-mail's "uncaught exceptions".

Added an email interface example requesting unicode comment output.

Indeed, be-handle-mail chokes... :(

Added "be-handle-mail --logfile LOGFILE" for sane logfile handling.

The previous setup had been pretty wimpy; now there's a degree of
flexibility.

Added symlinks to libbe and becommands in interfaces/email/interactive.

With this set-up, be-handle-mail run from its own directory will load
your working-state BE setup, not your system-wide BE installation.

Setup be-handle-mail.BE_DIR to point to the BE repo by default.

At least, it points to the directory where be-handle-mail lives.  If
you haven't moved it, that will be somewhere inside the BE repository.

This removes my hardcoded BE_DIR.

"be-handle-mail --output" added to support easy testing.

Removed debugging reply-address adjustment from be-handle-mail.

Everything seems to be working now.  On to the remote tests ;).

be-hand-mail now catches errors and sends appropriate responses.

Now be-handle-mail successfully catches stdout/stderr.

Renamed test->manipulate_encodings in becommands.*.execute.

Reminder from my initial libbe/encoding.py commit:
  Because of the stdout replacement, the doctests executes now need an
  optional 'test' argument to turn off replacement during the doctests,
  otherwise doctest flips out (since it had set up stdout to catch
  output, and then we clobbered it's setup).

I'm also trying to catch stdout/stderr from be-handle-mail, and I ran
into the same problem.  It took me a bit to remember exactly what
"test" was supposed to do, so I thought I'd make the argument name
more specific.  If you need other changes when running in "test" mode,
you'll have to add other kwargs.

Oops again, removed some old debugging logging

Oops, the header keys in be-handle-mail should all be unicode.

Even though I convert to ascii in send_pgp_mime.Mail.__init__(), it's
still good to be consistent inside each module ;).