Pass content_type to Comment.new_reply() to fix error adding non-text/ comments

Restructured becommands/html to make templating more flexible + general cleanups.

General cleanup of becommands/html.py

Merged Gianluca's html becommand with templates.

Non-event merge with trunk, just to pull in that bit of history

Reworked the html command template system

Partially moved to a newer, better and simpler template system

Template system v1 completed

Updated to trunk

Fix darcs testsuite failure

Oops, fixed return typo in libbe.darcs.Darcs._vcs_get_file_contents()

For self.parsed_version[0] >= 2, was returning the entire output of
._u_invoke_client() (status, output, and error).  Now it just returns
the output, which is what we want.  This fixes Chris' failed test:

======================================================================
FAIL: Should get file contents as committed to specified revision.
----------------------------------------------------------------------
Traceback (most recent call last):
  File "libbe/vcs.py", line 852, in test_revision_file_contents_as_committed
    self.test_contents['rev_1'], committed_contents)
AssertionError: 'Lorem ipsum' != (0, 'Lorem ipsum', '')
----------------------------------------------------------------------

Moved VCS detection from _vcs_help() to _vcs_version().

The version string is useful information to have around, while the
help string is probably not.  For example, we use it in
darcs.Darcs._vcs_get_file_contents() to construct an incantation
appropriate to the version we're dealing with.

Silence testsuite warnings, from W. Trevor King.

Large merge from W. Trevor King, including Gianluca's HTML export.

Moved from *.__del__() to exclusive use of *.cleanup().

*.__del__() is run some unspecified time after the refcount for an
object is reduced to zero.  Sometimes that means that the rest of the
world has already been deallocated, which makes life difficult,
especially when Python won't attempt to construct stack traces inside
*.__del__().  We were always (hopefully ;) calling del(*) anyway,
so we just replace those calls with *.cleanup()

Initial implementation of a template system

Added the verbose option

help

Added the initial support for css templates

Merged with Trevor's -rr branch

Fixed the merge

Merged with head branch

Set self.ret if necessary in be-handle-mail.Command.response_msg().

If an exception is raised during command exection, self.ret may be
left at None.

Added "Confirm" and "Subscribe" pseudoheaders to be-handle-mail.

Allowed values for both are "yes" or "no", case insensitive.

Setting Confirm:no disables the confirmation email letting you know
your new bug was successfully submitted.

Setting Subscribe:yes automatically subscribes you to the new bug
you're submitting immediately, without reqiring an extra control
email.

In the case where both Confirm:yes and Subscribe:yes, the submitter
will only recieve the subscription email (which shows the "be show"
view of the new bug) and not the submission email (which shows the
output of all the executed submission commands).

Both of these pseudoheaders were in response to a
  Would you like a direct response concerning your comments?
checkbox on the web frontend that generates emails for a BE repo.
When the checkbox is set, we set Confirm:yes Subscribe:yes, and the
submitter gets a nice pretty confirmation email and will be
automatically notified of any future action on their bug.  When the
checkbox is not set, they get no response or submission emails.

Also fixed up some bugs in in the subscriber_emails() parsing.  We now
use ordered_subscriptions to ensure that we parse the "DIR"
subscription first, since we don't want to include the same
information twice, and the user might be subscribed to DIR:all and a
particular bug (which would be wierd, but is easily avoidable).  This
also ensures that the more central DIR level changes appear first in
the email.

We also check that there is an entry for a particular bug in bug_index
before attempting to grab it, which could raise KeyErrors otherwise.

Finally, we check to make sure we don't double-include bugs for which
the user is subscribed to both that bug's new and DIR:new.

A final minor correction is the capitalization of the first word of
our log entries.  The logs are pretty cluttered, and the
capitalization helps the lines I care about stand out.  A better
solution would be to come up with a cleaner idea of what to write to
the logs...

Load bugs in be-handle-mail.Message.subscriber_emails().

Because subscribe.get_bugdir_subscribers() only looks for subscribers
in bugs that are already in memory.

Fix agressive be-handle-mail.Message._strip_footer().

It had been eating the last line of the message (which wasn't a
problem when I had a blank line before the footer, but was when I had
neither footer nor trailing blank line).

Prefix cache attributes in be-handle-mail with underscore (_).

To conform with Python convention for "hiding" class attributes only
intended for internal use.

Fixed invalid TAG error in becommands.subscribe.get_subscribers()

Check that the string has the right tag before attempting to parse it
:p.

Added -a and -l options to be subscribe.

It's useful to have some way to see the current subscription status
from the command line ;).

Added normalize_RFC_2822_date() to be-mbox-to-xml.

The
  if new_fields[u'date'] != None:
bit avoids attemting to normalize missing dates (which fails).  You
get messages with missing dates when comment_message_to_xml() is
called recursively for multipart messages.

Also fixed some unicode keys (['X'] -> [u'X']) for consistency.

Added normalize_email_address() to be-mbox-to-xml

Fixed mutliple in-reply-to splitting in be-mbox-to-xml

Fixed bugdir name collision in cmdutil.bug_from_shortname()

Use Bug.active to decide active status in becommands/html.py

Convert incoming text/* email payloads to unicode in be-handle-mail.

Switched from cStringIO to StringIO in be-handle-mail because:
  (from http://docs.python.org/library/stringio.html)

  "Unlike the memory files implemented by the StringIO module, those
  provided by this [cStringIO] module are not able to accept Unicode
  strings that cannot be encoded as plain ASCII strings."

I'm not sure what all the fuss with sys.__stdin__ had been about in
Command.run(), but I took it out and everything still seems to work
;).

Also fix Makefail (again!) to install under $HOME by default.

os.path.isdir() -> .exists() for check for "comments" file.

"comments" should always be a directory if it exists, but if it is
something else, be should fail rather than return an empty comment
list.

This fix was inspired by some browsing around in response to Thomas
Habets' version of a fix for missing "bugs" directory.

Include stdout in CommandError.

Fixed email.Parser typo in send_pgp_mime.py imports for Python 2.4.

Added `be --verbose-version' option to print full version information.

Added libbe.version, wrapping the auto-generated libbe._version.

Two major benefits:

1) Programatic access to the BE version.  Previously the
version-string logic was internal to the commandline interface ./be,
which left the other interfaces hanging.

2) Simple to override auto-generated revision id version with any
string you like (by setting libbe.version._VERSION, if that's the way
you want to run things or the way your packaging system requires.

Note that other modules should never read libbe.version._VERSION,
since it may not be defined.  Instead they should use the output of
libbe.version.version().

Fixed a few typos in be-handle-mail

Mention commit message in interactive email README subject explaination.

Explicitly set encoding to UTF-8.

Because otherwise we run into problems when running be from inside
cron jobs.

Typo EncryptedMessageFactory -> PGPMimeMessageFactory in send-pgp-mime.py

I changed the class name in commit
  wking@drexel.edu-20090718201613-n242qfl4s3j3kfjf
but missed two references.

Added docstrings to libbe submodules.

Also a few minor tweaks to the module imports.

BugDir.duplicate_bugdir() fix for when parent bugdir's sync_with_disk == False.

RCS -> VCS, BUGDIR_DISK_VERSION -> v1.2

Merged be.on-disk-upgrade, which added libbe.upgrade

Use 'v#.#' for major/minor version in upgrade.BUGDIR_DISK_VERSIONS

Upgrade duplicate bugdirs if necessary (e.g. for `be diff').

Also moved pre-YAML mapfile handling in mapfile.parse() into
upgrade.Upgrade_1_0_to_2._upgrade_mapfile().

Added libbe/upgrade.py to handle upgrading on-disk bugdirs.

Made get_path() definitions consistent between bugdirs, bugs, and comments.

Bug 22b (target-bugs) blocked by 519 (on-disk upgrade) and assigned to Trevor

VCS vs. RCS terminology blocked by on-disk upgrade path.

Added comment 22b:7 about representing targets with Bug() instances.

Broke up be-handle-mail.parse() into parse_new(), _comment(), and _control().

Also fleshed out the be-handle-mail docstring.

Added on-disk representation upgrade bug

Handle BugDir.list_uuids() in the case of missing ".be/bugs/".

Previously:
  $ be init
  $ be list
  ...
    File ".../libbe/bugdir.py", line 537, in list_uuids
      for uuid in os.listdir(self.get_path("bugs")):
  OSError: [Errno 2] No such file or directory: '.../.be/bugs'

"be html" fixes bug 2f0

Oops, update comment.From->author and .time_string->.date in becommands/html.py

Updated AUTHORS and copyright info for becommands/html.py.

Also adjusted update_copyright.sh to ignore Gianluca's temporary use
of
  gianluca <gian@galactica>
since he's now using
  Gianluca Montecchi <gian@grys.it>
on becommands/html.py.

Merged Gianluca's html output branch.

Changes to merge with my branch:

  * Added some reference to "be html" or "becommands/html.py" in his
    new bugs' summaries.  Bug titles should make clear to which aspect
    of our growing repository they refer.
  * Fixed unittests in becommands/html.py.
  * execute() kwarg "test"->!"manipulate_encodings
  * bugdir.simple_bug_dir() -> bugdir.SimpleBugDir()
  * bd.cleanup() at end of unittests

Sort bugs in HTML output.

XHTML attribute values should be strings, and cellspacing not allowed in tr.

Escape HTML entities (e.g. & and @) in HTML output

XHTML tags must be closed (e.g. <br />, not <br>)

XHTML attribute values should be strings.

Protect bug html from libbe.settings_object.EMPTY

Added DOCTYPE to detail html as well

Respect bugdir's encoding in html generation

Added DOCTYPE and post-</div> endlines

Improved threaded comment handling.

The previous method only grabbed first line of a comment.  The new
approach replaces the messy Comment->string->parse->html with
Comment->html.

Also replaced all open()s with codecs.open to allow for non-ASCII
output.  Alphabetized the non libbe imports while I was adding codecs.

Adjusted help/doc strings in becommands/html.py

- closed bugs f77, 2b8 d8d
- some changes to the css and to the html layout

Merged bugfix branch be.missing-git-config

Now libbe.git.Git handles missing name/email and guesses instead.

Merged Gianluca's missing-git-config bug report

Imported Ben's VCS vs. RCS bug report from the mailing list.

Ssupport for UTF-8 in "be comment" calls to EDITOR/VISUAL.

Fixed width and index

Merged dependency tree branch.

Also exposes dependency manipulation functions/classes for use by
other modules.

Added dependency tree display with "be depend -t DEPTH BUG-ID".

Should probably be a directed graph, since people might not make
tree-like dependency graphs.  Cyclic graphs seem unlikely, though,
so a tree only risks redundant bug entries.

Added one-way-link repair.

Added two-way dependency links.

Still need to implement and test one-way-link repair.

Closed bug f77, minox fix to layout

Now becommands.new's unittest cleans up after itself.

Improved unittest cleanup by adding BugDir.cleanup().

Also simple_bug_dir -> SimpleBugDir class, which allows me to add
utility.Dir cleanup to SimpleBugDir.cleanup().

Still having a bit of trouble with the becommand.new tests due to
bugdir loading though...

Return to original directory after libbe.bugdir.SimpleBugDirTestCase().

This was causing strange "RCS not found" errors in the bzr and hg
unittests.  For example, the bzr tests all passed:
  wking@thor:be.wtk-rr$ python test.py bzr
  ...
  Ran 12 tests in 24.143s

  OK
Except when run after the bugdir tests:
  wking@thor:be.wtk-rr$ python test.py bugdir bzr
  ...
  Ran 19 tests in 1.862s

  FAILED (errors=12)
Where the failures were all
  AssertionError: bzr RCS not found

Fixed by returning to intial directory after SimpleBugDirTestCase
execution.  Problem is due to Python issues with unlinked directories
though, so bzr/hg will _still_ not work from unlinked directories.
This is for Python 2.5.4 on Ubuntu 8.04.3, but probably effects other
pythons too.

Details:

Isolated problem to unlinked directories:
  mkdir /tmp/a
  cd /tmp/a
  rmdir /tmp/a
  python /home/wking/src/fun/be/be.wtk-rr/test.py bzr
which fails with the same "RCS not found" errors because bzr fails:
  wking@thor:/$ mkdir /tmp/a; cd /tmp/a; rmdir /tmp/a; bzr --help; cd /;
  rmdir: removing directory, /tmp/a
  'import site' failed; use -v for traceback
  bzr: ERROR: Couldn't import bzrlib and dependencies.
  Please check bzrlib is on your PYTHONPATH.

  Traceback (most recent call last):
    File "/usr/bin/bzr", line 64, in <module>
      import bzrlib
  ImportError: No module named bzrlib
which fails becase 'import site' fails:
  wking@thor:/$ mkdir /tmp/a; cd /tmp/a; rmdir /tmp/a; python -c 'import site'; cd /;
  rmdir: removing directory, /tmp/a
  'import site' failed; use -v for traceback
  Traceback (most recent call last):
    File "<string>", line 1, in <module>
    File "/home/wking/lib/python/site.py", line 73, in <module>
      __boot()
    File "/home/wking/lib/python/site.py", line 33, in __boot
      imp.load_module('site',stream,path,descr)
    File "/usr/lib/python2.5/site.py", line 408, in <module>
      main()
    File "/usr/lib/python2.5/site.py", line 392, in main
      paths_in_sys = removeduppaths()
    File "/usr/lib/python2.5/site.py", line 96, in removeduppaths
      dir, dircase = makepath(dir)
    File "/usr/lib/python2.5/site.py", line 72, in makepath
      dir = os.path.abspath(os.path.join(*paths))
    File "/usr/lib/python2.5/posixpath.py", line 403, in abspath
      path = join(os.getcwd(), path)
  OSError: [Errno 2] No such file or directory
which fails because our cwd doesn't exist.  That makes sense ;).
Still I think Python should be able to handle it, so I reported it
  http://bugs.python.org/issue6612

Removed libbe.bzr.Bzr's automerge on post-commit.

I'd done this already in
  wking@drexel.edu-20090723154304-swmkxpfagdzff9ai
but for some reason the merge with the email branch brought it back.

Fixed libbe.bugdir.BugDirTestCase.testComments(sync_with_disk=False).

Fixed comment.cmp_attr unittest because "o" > "a" so cmp("o", "a") == 1.

Fixed indent spacing in libbe.diff.report().

Only increment depth if data_part != None.

Merged interactive email interface

Corrected some problems with revision_id() before an initial commit.

Added clean messages on bug_from_shortname failure.

So user's don't get confused.

Moved all the implementation into the html.py file
Implemented the creation of the index for active and inactive bugs, with detail for earch of them

be-handle-mail no longer sends blank subscriber emails when no change occurs.

It had been mailing out the empty MIMEMultipart root returned by
diff_tree.report().

Fixed _procmailrc rules.

"[" is a special character.

Also a few minor cleanups in be-handle-mail.

Restored Makefile to /home/wking installation

Cleaned up be-handle-mail's subscriber notification emails (fewer attachments).

Previously, every node in the DiffTree created it's own attachment.
Now they're consolidated into a single attachment per bug.  higher
level nodes are still one attachment per node.

Also:
  * added send_pgp_mime.append_text()
  * pulled guess_encoding() out of send_pgp_mime.encodedMIMEText().
  * renamed data_string -> data_part in libbe.diff, since it needn't be a string.