Fixed import_xml.py to live up to its longhelp description.

Also added LonghelpTestCase to prove it.

Avoid redundant Comment.alt_ids

Changed Bug and Comment.merge() kwargs.

The old allow_changes and allow_new_comments didn't have separate
handling for extra_strings, like import_xml will need.  It also didn't
have a way to specify what to do if an illegal change occurs.
Sometimes you'll want to raise an exception, but sometimes you'll want
to ?silently? ignore the change.

Minor BugDir docstring typo correction.

Moved comment.list_to_root() to Bug.add_comments() with some cleanups.

This makes Bug.add_comment simpler.  Also makes Bug.from_xml() more
robust, since it no longer depends on the order in which the XML file
lists the comments.  The previous Bug.from_xml() would have choked on
  <be-xml>
    <bug>
      <comment>
        <uuid>B</uuid>
        <in-reply-to>A</in-reply-to>
      </comment>
      <comment>
        <uuid>A</uuid>
      </comment>
    </bug>
  </be-xml>
because when B was being added, the referenced A hadn't yet been
noticed.

Added comment import to Bug.from_xml().

This is a pretty critical feature, dunno how I missed it before.

I also added a little check to both Bug and Comment.from_xml() so that
xml_string can take an ElementTree Element as well as the usual raw
string/unicode.  This avoids repeated string <-> Element conversions.

Added Bug.add_comment() which handles the addition of a Comment
instance, matching .in_reply_to, checking .uuid uniqueness, etc.

test.py now uses unittest.TestSuite 'suite' in becommands if present.

Such 'suite' instances have been required for libbe submodules.  This
will allow becommands to test themselves more thoroughly than they
could with only doctests.

BugDir.list_uuids() -> BugDir.uuids()

Added Bug.merge() and Comment.merge().

Added *.explicit_attrs list creation to Bug and Comment.from_xml().

Added match_alt_id keyword argumennt to .comment_from_uuid().

Removed extra enline following '</extra-string>' tag in Bug and
Comment.xml().

Added restrict_file_access to becommands' execute() args.

+ associated adjustments in other files.

See cmdutil.restrict_file_access.__doc__ for an explanation of the
security hole this closes.

Merged mostly completed `be email-bugs'.

Highlights:
 * new be commands 'email-bugs' and 'import-xml'
 * standardized <be-xml> format for XML files.
 * new be-handle-mail interface '[be-bug:xml]'
 * restrict_file_access security patch
 * new subprocess handling submodule libbe.subproc
 * test.py adjusted to use an installed VCS for most tests.
 * assorted bugfixes

Altered interfaces to the following be commands:
 * comment --xml     tag gone, use import-xml.
 * show --xml        xml format updated to <be-xml> format.

Also adjusted be-mbox-to-xml and be-xml-to-mbox to handle new <be-xml>
format and provide better handling of *.extra_strings.

Fix libbe.vcs.VCS.get_file_contents(allow_no_vcs=True,binary=True).

In it's previous form it had ignored the binary option if
self._use_vcs() returned False.

Also added a few more details to the docstring, explaining the
arguments.

Updated interfaces/email/interactive/README for [be-bug:xml] interface

Added [be-tag:xml] processing to be-handle-mail.

Now it will automatically apply and commit emails from
  be email-bugs ...

Adjusted `be import-xml` to properly handle croot_bug==None.

If there aren't any root comments, then the user needn't specify
--comment-root, in which case croot_bug will be None and we want to
skip all the croot processing.

Fixed bug in be-handle-mail.Message.parse_comment() for emails w/o Message-id.

You used to get:

Uncaught exception:
'NoneType' object has no attribute 'decode'
  File "./be-handle-mail", line 857, in main
    m.run()
  File "./be-handle-mail", line 591, in run
    command.run()
  File "./be-handle-mail", line 244, in run
    manipulate_encodings=False)
  File "/tmp/be.email-bugs/interfaces/email/interactive/libbe/cmdutil.py", line 82, in execute
    ret = cmd.execute([a.decode(enc) for a in args],

A `print args' in Message.parse_comment() revealed
  [..., u'--alt-id', None,...]

Added interfaces/email/interactive/examples/email_bugs

For testing the new [be-bug:xml] interface we're about to write.

`be email-bugs` now uses `be show` internals to produce consistent XML.

Broke the bulk of show.py out into new function show.output(), which
is used by both show.py and email_bugs.py to reduce duplication of
effort and increase consistency of the XML.

Also a few relevant help string updates.

Upgraded `be show --xml` to new <be-xml> format.

Broke `be comment --xml` out and extended into `be import-xml`.

It should currently do everything that `be comment --xml` did, but it
still has a way to go before it lives up to it's longhelp string,
mostly figuring out bug/comment merging.

The allowed XML format also changed a bit, becoming a bit more
structured.

cmdutil.bug_from_shortname() renamed to cmdutil.bug_from_id().

New functions cmdutil.parse_id() and cmdutil.bug_comment_from_id().

Additional doctests in libbe.comment.Comment.comment_shortnames() to
show example output if bug_shortname==None.

Brought be-xml-to-mbox and be-mbox-to-xml up to speed on the current
<be-xml>-rooted format.
  * Added <extra-string> handling to their comment handling.
  * Moved extra strings from email bodies to X-Extra-String headers
    (some comment bodies are not text, and we should keep the estr
    location consistent between bugs and comments.)

Added Bug.from_xml() + some .from_xml() fixups.

Moved comment.InvalidXML to utility.InvalidXML, so that bug and
comment can share it.  Added docstring explaining the __init__
arguments.

Added indent and shortname options to Bug.xml() to match
Comment.xml().

Added .extra_strings export to Comment.xml().

Converted Bug.xml() from string addition to list joining, which avoids
a bunch of memory allocation/deallocation.

Assorted " -> ' replacements.

Elaborated doctests to check UTF-8, extra_strings, ...

Added new comparison cmp_extra_strings for both bug. and
comment.DEFAULT_CMP_FULL_CMP_LIST.

Import os in libbe.subproc if _POSIX == True

Fixed bug 529c290e-b1cf-4800-be7e-68f1ecb9565c (howto version BE).

Also appended some of the recent discussion about releases to the
comment list.

Fix typo in becommands.init's doctest

Import select in libbe.subproc if _POSIX == True

Adjusted test.py to use an installed vcs by default.

Protects agaist the off chance that the user doesn't have Arch (tla)
installed ;).

Changed Arch.name from "Arch" to "arch" so that each VCSs .name
matches the module name.  This allows us to use vcs.VCS_ORDER (a list
of module names) to set up the allowed values of BugDir.vcs_name.

Added becommands/email_bugs.py

This send a list of bugs in a single email off to be processed by
be-handle-mail.  Of course, be-handle-mail doesn't yet handle the
[be-bug:xml] format that email_bugs.py creates.  On to that now...

Broke subprocess handling out into its own submodule libbe.subproc.

Removed superfluous 'import time' from becommands/commit.py doctest.

Created bug 56506b73-36cc-4e32-a578-258a219edba8 describing problem

Have release.py update copyrights as well.

Added release.py script automating release process

Merged updated READMEs and new update_copyright.py (and its results).

Ran the new update_copyright.py

Translated update_copyright.sh to Python update_copyright.py

Updated README and Bugs-Everywhere-Web/README.

Updated NEWS file

Fixed bug with unicode handling reported by Nicolas Alvarez.

Date: Mon, 16 Nov 2009 20:34:50 -0300
From: Nicolas Alvarez <nicolas.alvarez@gmail.com>
Subject: [Be-devel] Mercurial + BE + Unicode doesn't work

My username in ~/.hgrc contains a Unicode character. When I run "be new" on
a Mercurial repository, I get an unhandled Python exception:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 13:
ordinal not in range(128)

The following shell script should reproduce the error:

#!/bin/sh

repo=/tmp/`mktemp -d bug-repro.XXXX`
hg init $repo
cd $repo
/usr/bin/printf "[ui]\nusername = Nicol\u00e1s\n" > $repo/.hg/hgrc
be set-root $repo
be new "Testing"
rm -rf /tmp/$repo

[WTK:
Note that the
  be set-root
usage is out of date, it is now
  be init
]

Use unicode_output=False in some Darcs._u_invoke_client() calls.

This avoids the following error:
  ======================================================================
  ERROR: Should get file contents as committed to specified revision.
  ----------------------------------------------------------------------
  Traceback (most recent call last):
    File ".../libbe/vcs.py", line 860, in test_revision_file_contents_as_committed
      full_path, revision)
    File ".../libbe/vcs.py", line 339, in get_file_contents
      contents = self._vcs_get_file_contents(relpath,revision,binary=binary)
    File ".../libbe/darcs.py", line 122, in _vcs_get_file_contents
      status,output,error = self._u_invoke(args, stdin=major_patch)
    File ".../libbe/vcs.py", line 488, in _u_invoke
      raise CommandError(args, status, stdout, stderr)
  CommandError: Command failed (2):
    patch: **** Only garbage was found in the patch input.

  while executing
    ['patch', '--reverse', 'a/text']

After adding the unicode_output=False lines, I adjusted the
VCS._u_invoke_client() definition to pass all it's kwargs
automatically through to VCS._u_invoke().  To make this simpler and
more consistent, I renamed the "directory" option to "cwd", and
adjusted *._u_invoke() calls appropriately in several VCS backends.

Cleanup temp. dir. in libbe.vcs tests.

"CommandStderr" -> "CommandError" in VCS._u_invoke()

Corrects a mistake from using string replace to move output,error ->
stdout,stderr a few commits ago.

Don't attempt to convert unicode objects to strings in *._setting_attr_string()

Set binary=True for mapfile file handling

The YAML library produces Python string encodings of unicode objects.
There's no reason to try and convert them back into Python unicode
objects just to save them with binary=False, because the files are
only read in to be passed into the YAML parser, which can handle the
unicode characters correctly.

Added unicode_output option to VCS._u_invoke()

rename "output","error" -> "stdout","stderr" in VCS._u_invoke()

Merged Gianluca's nested directory fix.

- Merged Trevor branch
- Reapplied the fix for subdirs

Fixed a typo in the --export-dir-template options

Fixed a problem with the creation of nested directory
(i.e.: be html -o dir1/dir2 failed to create dir2 if dir1 does not exists)

Merged Gianluca's recent `be html` work.

* Added --export-template and --export-template-dir
* Fixed index page row colors.
* Fixed --index-header

Also a bit of tightening on my own:
  * Inspired by ._write_file, wrote ._read_file and .make_dir.
  * Wrapped some lines to stay under 80 characters,
  * Stripped trailing whitespace.

test for bzr merge

Finished merge with Trevor branch

added the --export-template and --export-dir_template
to export the default template

The (ugly) colors are back

Fixed the wrong index_header values

merged with Trevor branch

Merged my cleanup of Gianluca's HTML branch.

This fixes a bug in binary comments (non-"text/" content-types), where
the content-type wasn't being set until _after_ the save was
attempted.  This led to errors for non-ascii bodies (e.g. images with
null characters).

Note that text/html comments are included as is, so make sure they are
formatted appropriately to fit into your tempate without creating
invalid code.  This issue could be a real pain in the neck, especially
when including text/html email bodies, which might contain <body>
tags, etc..  Stupid email clients that don't send a text/plain
alternative...

Save non-text/ comments as separate files.  Inline images.

Pass content_type to Comment.new_reply() to fix error adding non-text/ comments

Restructured becommands/html to make templating more flexible + general cleanups.

General cleanup of becommands/html.py

Merged Gianluca's html becommand with templates.

Non-event merge with trunk, just to pull in that bit of history

Reworked the html command template system

Partially moved to a newer, better and simpler template system

Template system v1 completed

Updated to trunk

Fix darcs testsuite failure

Oops, fixed return typo in libbe.darcs.Darcs._vcs_get_file_contents()

For self.parsed_version[0] >= 2, was returning the entire output of
._u_invoke_client() (status, output, and error).  Now it just returns
the output, which is what we want.  This fixes Chris' failed test:

======================================================================
FAIL: Should get file contents as committed to specified revision.
----------------------------------------------------------------------
Traceback (most recent call last):
  File "libbe/vcs.py", line 852, in test_revision_file_contents_as_committed
    self.test_contents['rev_1'], committed_contents)
AssertionError: 'Lorem ipsum' != (0, 'Lorem ipsum', '')
----------------------------------------------------------------------

Moved VCS detection from _vcs_help() to _vcs_version().

The version string is useful information to have around, while the
help string is probably not.  For example, we use it in
darcs.Darcs._vcs_get_file_contents() to construct an incantation
appropriate to the version we're dealing with.

Silence testsuite warnings, from W. Trevor King.

Large merge from W. Trevor King, including Gianluca's HTML export.

Moved from *.__del__() to exclusive use of *.cleanup().

*.__del__() is run some unspecified time after the refcount for an
object is reduced to zero.  Sometimes that means that the rest of the
world has already been deallocated, which makes life difficult,
especially when Python won't attempt to construct stack traces inside
*.__del__().  We were always (hopefully ;) calling del(*) anyway,
so we just replace those calls with *.cleanup()

Initial implementation of a template system

Added the verbose option

help

Added the initial support for css templates

Merged with Trevor's -rr branch

Fixed the merge

Merged with head branch

Set self.ret if necessary in be-handle-mail.Command.response_msg().

If an exception is raised during command exection, self.ret may be
left at None.

Added "Confirm" and "Subscribe" pseudoheaders to be-handle-mail.

Allowed values for both are "yes" or "no", case insensitive.

Setting Confirm:no disables the confirmation email letting you know
your new bug was successfully submitted.

Setting Subscribe:yes automatically subscribes you to the new bug
you're submitting immediately, without reqiring an extra control
email.

In the case where both Confirm:yes and Subscribe:yes, the submitter
will only recieve the subscription email (which shows the "be show"
view of the new bug) and not the submission email (which shows the
output of all the executed submission commands).

Both of these pseudoheaders were in response to a
  Would you like a direct response concerning your comments?
checkbox on the web frontend that generates emails for a BE repo.
When the checkbox is set, we set Confirm:yes Subscribe:yes, and the
submitter gets a nice pretty confirmation email and will be
automatically notified of any future action on their bug.  When the
checkbox is not set, they get no response or submission emails.

Also fixed up some bugs in in the subscriber_emails() parsing.  We now
use ordered_subscriptions to ensure that we parse the "DIR"
subscription first, since we don't want to include the same
information twice, and the user might be subscribed to DIR:all and a
particular bug (which would be wierd, but is easily avoidable).  This
also ensures that the more central DIR level changes appear first in
the email.

We also check that there is an entry for a particular bug in bug_index
before attempting to grab it, which could raise KeyErrors otherwise.

Finally, we check to make sure we don't double-include bugs for which
the user is subscribed to both that bug's new and DIR:new.

A final minor correction is the capitalization of the first word of
our log entries.  The logs are pretty cluttered, and the
capitalization helps the lines I care about stand out.  A better
solution would be to come up with a cleaner idea of what to write to
the logs...

Load bugs in be-handle-mail.Message.subscriber_emails().

Because subscribe.get_bugdir_subscribers() only looks for subscribers
in bugs that are already in memory.

Fix agressive be-handle-mail.Message._strip_footer().

It had been eating the last line of the message (which wasn't a
problem when I had a blank line before the footer, but was when I had
neither footer nor trailing blank line).

Prefix cache attributes in be-handle-mail with underscore (_).

To conform with Python convention for "hiding" class attributes only
intended for internal use.

Fixed invalid TAG error in becommands.subscribe.get_subscribers()

Check that the string has the right tag before attempting to parse it
:p.

Added -a and -l options to be subscribe.

It's useful to have some way to see the current subscription status
from the command line ;).

Added normalize_RFC_2822_date() to be-mbox-to-xml.

The
  if new_fields[u'date'] != None:
bit avoids attemting to normalize missing dates (which fails).  You
get messages with missing dates when comment_message_to_xml() is
called recursively for multipart messages.

Also fixed some unicode keys (['X'] -> [u'X']) for consistency.

Added normalize_email_address() to be-mbox-to-xml

Fixed mutliple in-reply-to splitting in be-mbox-to-xml

Fixed bugdir name collision in cmdutil.bug_from_shortname()

Use Bug.active to decide active status in becommands/html.py

Convert incoming text/* email payloads to unicode in be-handle-mail.

Switched from cStringIO to StringIO in be-handle-mail because:
  (from http://docs.python.org/library/stringio.html)

  "Unlike the memory files implemented by the StringIO module, those
  provided by this [cStringIO] module are not able to accept Unicode
  strings that cannot be encoded as plain ASCII strings."

I'm not sure what all the fuss with sys.__stdin__ had been about in
Command.run(), but I took it out and everything still seems to work
;).

Also fix Makefail (again!) to install under $HOME by default.

os.path.isdir() -> .exists() for check for "comments" file.

"comments" should always be a directory if it exists, but if it is
something else, be should fail rather than return an empty comment
list.

This fix was inspired by some browsing around in response to Thomas
Habets' version of a fix for missing "bugs" directory.

Include stdout in CommandError.

Fixed email.Parser typo in send_pgp_mime.py imports for Python 2.4.

Added `be --verbose-version' option to print full version information.

Added libbe.version, wrapping the auto-generated libbe._version.

Two major benefits:

1) Programatic access to the BE version.  Previously the
version-string logic was internal to the commandline interface ./be,
which left the other interfaces hanging.

2) Simple to override auto-generated revision id version with any
string you like (by setting libbe.version._VERSION, if that's the way
you want to run things or the way your packaging system requires.

Note that other modules should never read libbe.version._VERSION,
since it may not be defined.  Instead they should use the output of
libbe.version.version().

Fixed a few typos in be-handle-mail

Mention commit message in interactive email README subject explaination.