Merged updated READMEs and new update_copyright.py (and its results).

Ran the new update_copyright.py

Translated update_copyright.sh to Python update_copyright.py

Updated README and Bugs-Everywhere-Web/README.

Updated NEWS file

Fixed bug with unicode handling reported by Nicolas Alvarez.

Date: Mon, 16 Nov 2009 20:34:50 -0300
From: Nicolas Alvarez <nicolas.alvarez@gmail.com>
Subject: [Be-devel] Mercurial + BE + Unicode doesn't work

My username in ~/.hgrc contains a Unicode character. When I run "be new" on
a Mercurial repository, I get an unhandled Python exception:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 13:
ordinal not in range(128)

The following shell script should reproduce the error:

#!/bin/sh

repo=/tmp/`mktemp -d bug-repro.XXXX`
hg init $repo
cd $repo
/usr/bin/printf "[ui]\nusername = Nicol\u00e1s\n" > $repo/.hg/hgrc
be set-root $repo
be new "Testing"
rm -rf /tmp/$repo

[WTK:
Note that the
  be set-root
usage is out of date, it is now
  be init
]

Use unicode_output=False in some Darcs._u_invoke_client() calls.

This avoids the following error:
  ======================================================================
  ERROR: Should get file contents as committed to specified revision.
  ----------------------------------------------------------------------
  Traceback (most recent call last):
    File ".../libbe/vcs.py", line 860, in test_revision_file_contents_as_committed
      full_path, revision)
    File ".../libbe/vcs.py", line 339, in get_file_contents
      contents = self._vcs_get_file_contents(relpath,revision,binary=binary)
    File ".../libbe/darcs.py", line 122, in _vcs_get_file_contents
      status,output,error = self._u_invoke(args, stdin=major_patch)
    File ".../libbe/vcs.py", line 488, in _u_invoke
      raise CommandError(args, status, stdout, stderr)
  CommandError: Command failed (2):
    patch: **** Only garbage was found in the patch input.

  while executing
    ['patch', '--reverse', 'a/text']

After adding the unicode_output=False lines, I adjusted the
VCS._u_invoke_client() definition to pass all it's kwargs
automatically through to VCS._u_invoke().  To make this simpler and
more consistent, I renamed the "directory" option to "cwd", and
adjusted *._u_invoke() calls appropriately in several VCS backends.

Cleanup temp. dir. in libbe.vcs tests.

"CommandStderr" -> "CommandError" in VCS._u_invoke()

Corrects a mistake from using string replace to move output,error ->
stdout,stderr a few commits ago.

Don't attempt to convert unicode objects to strings in *._setting_attr_string()

Set binary=True for mapfile file handling

The YAML library produces Python string encodings of unicode objects.
There's no reason to try and convert them back into Python unicode
objects just to save them with binary=False, because the files are
only read in to be passed into the YAML parser, which can handle the
unicode characters correctly.

Added unicode_output option to VCS._u_invoke()

rename "output","error" -> "stdout","stderr" in VCS._u_invoke()

Merged Gianluca's nested directory fix.

- Merged Trevor branch
- Reapplied the fix for subdirs

Fixed a typo in the --export-dir-template options

Fixed a problem with the creation of nested directory
(i.e.: be html -o dir1/dir2 failed to create dir2 if dir1 does not exists)

Merged Gianluca's recent `be html` work.

* Added --export-template and --export-template-dir
* Fixed index page row colors.
* Fixed --index-header

Also a bit of tightening on my own:
  * Inspired by ._write_file, wrote ._read_file and .make_dir.
  * Wrapped some lines to stay under 80 characters,
  * Stripped trailing whitespace.

test for bzr merge

Finished merge with Trevor branch

added the --export-template and --export-dir_template
to export the default template

The (ugly) colors are back

Fixed the wrong index_header values

merged with Trevor branch

Merged my cleanup of Gianluca's HTML branch.

This fixes a bug in binary comments (non-"text/" content-types), where
the content-type wasn't being set until _after_ the save was
attempted.  This led to errors for non-ascii bodies (e.g. images with
null characters).

Note that text/html comments are included as is, so make sure they are
formatted appropriately to fit into your tempate without creating
invalid code.  This issue could be a real pain in the neck, especially
when including text/html email bodies, which might contain <body>
tags, etc..  Stupid email clients that don't send a text/plain
alternative...

Save non-text/ comments as separate files.  Inline images.

Pass content_type to Comment.new_reply() to fix error adding non-text/ comments

Restructured becommands/html to make templating more flexible + general cleanups.

General cleanup of becommands/html.py

Merged Gianluca's html becommand with templates.

Non-event merge with trunk, just to pull in that bit of history

Reworked the html command template system

Partially moved to a newer, better and simpler template system

Template system v1 completed

Updated to trunk

Fix darcs testsuite failure

Oops, fixed return typo in libbe.darcs.Darcs._vcs_get_file_contents()

For self.parsed_version[0] >= 2, was returning the entire output of
._u_invoke_client() (status, output, and error).  Now it just returns
the output, which is what we want.  This fixes Chris' failed test:

======================================================================
FAIL: Should get file contents as committed to specified revision.
----------------------------------------------------------------------
Traceback (most recent call last):
  File "libbe/vcs.py", line 852, in test_revision_file_contents_as_committed
    self.test_contents['rev_1'], committed_contents)
AssertionError: 'Lorem ipsum' != (0, 'Lorem ipsum', '')
----------------------------------------------------------------------

Moved VCS detection from _vcs_help() to _vcs_version().

The version string is useful information to have around, while the
help string is probably not.  For example, we use it in
darcs.Darcs._vcs_get_file_contents() to construct an incantation
appropriate to the version we're dealing with.

Silence testsuite warnings, from W. Trevor King.

Large merge from W. Trevor King, including Gianluca's HTML export.

Moved from *.__del__() to exclusive use of *.cleanup().

*.__del__() is run some unspecified time after the refcount for an
object is reduced to zero.  Sometimes that means that the rest of the
world has already been deallocated, which makes life difficult,
especially when Python won't attempt to construct stack traces inside
*.__del__().  We were always (hopefully ;) calling del(*) anyway,
so we just replace those calls with *.cleanup()

Initial implementation of a template system

Added the verbose option

help

Added the initial support for css templates

Merged with Trevor's -rr branch

Fixed the merge

Merged with head branch

Set self.ret if necessary in be-handle-mail.Command.response_msg().

If an exception is raised during command exection, self.ret may be
left at None.

Added "Confirm" and "Subscribe" pseudoheaders to be-handle-mail.

Allowed values for both are "yes" or "no", case insensitive.

Setting Confirm:no disables the confirmation email letting you know
your new bug was successfully submitted.

Setting Subscribe:yes automatically subscribes you to the new bug
you're submitting immediately, without reqiring an extra control
email.

In the case where both Confirm:yes and Subscribe:yes, the submitter
will only recieve the subscription email (which shows the "be show"
view of the new bug) and not the submission email (which shows the
output of all the executed submission commands).

Both of these pseudoheaders were in response to a
  Would you like a direct response concerning your comments?
checkbox on the web frontend that generates emails for a BE repo.
When the checkbox is set, we set Confirm:yes Subscribe:yes, and the
submitter gets a nice pretty confirmation email and will be
automatically notified of any future action on their bug.  When the
checkbox is not set, they get no response or submission emails.

Also fixed up some bugs in in the subscriber_emails() parsing.  We now
use ordered_subscriptions to ensure that we parse the "DIR"
subscription first, since we don't want to include the same
information twice, and the user might be subscribed to DIR:all and a
particular bug (which would be wierd, but is easily avoidable).  This
also ensures that the more central DIR level changes appear first in
the email.

We also check that there is an entry for a particular bug in bug_index
before attempting to grab it, which could raise KeyErrors otherwise.

Finally, we check to make sure we don't double-include bugs for which
the user is subscribed to both that bug's new and DIR:new.

A final minor correction is the capitalization of the first word of
our log entries.  The logs are pretty cluttered, and the
capitalization helps the lines I care about stand out.  A better
solution would be to come up with a cleaner idea of what to write to
the logs...

Load bugs in be-handle-mail.Message.subscriber_emails().

Because subscribe.get_bugdir_subscribers() only looks for subscribers
in bugs that are already in memory.

Fix agressive be-handle-mail.Message._strip_footer().

It had been eating the last line of the message (which wasn't a
problem when I had a blank line before the footer, but was when I had
neither footer nor trailing blank line).

Prefix cache attributes in be-handle-mail with underscore (_).

To conform with Python convention for "hiding" class attributes only
intended for internal use.

Fixed invalid TAG error in becommands.subscribe.get_subscribers()

Check that the string has the right tag before attempting to parse it
:p.

Added -a and -l options to be subscribe.

It's useful to have some way to see the current subscription status
from the command line ;).

Added normalize_RFC_2822_date() to be-mbox-to-xml.

The
  if new_fields[u'date'] != None:
bit avoids attemting to normalize missing dates (which fails).  You
get messages with missing dates when comment_message_to_xml() is
called recursively for multipart messages.

Also fixed some unicode keys (['X'] -> [u'X']) for consistency.

Added normalize_email_address() to be-mbox-to-xml

Fixed mutliple in-reply-to splitting in be-mbox-to-xml

Fixed bugdir name collision in cmdutil.bug_from_shortname()

Use Bug.active to decide active status in becommands/html.py

Convert incoming text/* email payloads to unicode in be-handle-mail.

Switched from cStringIO to StringIO in be-handle-mail because:
  (from http://docs.python.org/library/stringio.html)

  "Unlike the memory files implemented by the StringIO module, those
  provided by this [cStringIO] module are not able to accept Unicode
  strings that cannot be encoded as plain ASCII strings."

I'm not sure what all the fuss with sys.__stdin__ had been about in
Command.run(), but I took it out and everything still seems to work
;).

Also fix Makefail (again!) to install under $HOME by default.

os.path.isdir() -> .exists() for check for "comments" file.

"comments" should always be a directory if it exists, but if it is
something else, be should fail rather than return an empty comment
list.

This fix was inspired by some browsing around in response to Thomas
Habets' version of a fix for missing "bugs" directory.

Include stdout in CommandError.

Fixed email.Parser typo in send_pgp_mime.py imports for Python 2.4.

Added `be --verbose-version' option to print full version information.

Added libbe.version, wrapping the auto-generated libbe._version.

Two major benefits:

1) Programatic access to the BE version.  Previously the
version-string logic was internal to the commandline interface ./be,
which left the other interfaces hanging.

2) Simple to override auto-generated revision id version with any
string you like (by setting libbe.version._VERSION, if that's the way
you want to run things or the way your packaging system requires.

Note that other modules should never read libbe.version._VERSION,
since it may not be defined.  Instead they should use the output of
libbe.version.version().

Fixed a few typos in be-handle-mail

Mention commit message in interactive email README subject explaination.

Explicitly set encoding to UTF-8.

Because otherwise we run into problems when running be from inside
cron jobs.

Typo EncryptedMessageFactory -> PGPMimeMessageFactory in send-pgp-mime.py

I changed the class name in commit
  wking@drexel.edu-20090718201613-n242qfl4s3j3kfjf
but missed two references.

Added docstrings to libbe submodules.

Also a few minor tweaks to the module imports.

BugDir.duplicate_bugdir() fix for when parent bugdir's sync_with_disk == False.

RCS -> VCS, BUGDIR_DISK_VERSION -> v1.2

Merged be.on-disk-upgrade, which added libbe.upgrade

Use 'v#.#' for major/minor version in upgrade.BUGDIR_DISK_VERSIONS

Upgrade duplicate bugdirs if necessary (e.g. for `be diff').

Also moved pre-YAML mapfile handling in mapfile.parse() into
upgrade.Upgrade_1_0_to_2._upgrade_mapfile().

Added libbe/upgrade.py to handle upgrading on-disk bugdirs.

Made get_path() definitions consistent between bugdirs, bugs, and comments.

Bug 22b (target-bugs) blocked by 519 (on-disk upgrade) and assigned to Trevor

VCS vs. RCS terminology blocked by on-disk upgrade path.

Added comment 22b:7 about representing targets with Bug() instances.

Broke up be-handle-mail.parse() into parse_new(), _comment(), and _control().

Also fleshed out the be-handle-mail docstring.

Added on-disk representation upgrade bug

Handle BugDir.list_uuids() in the case of missing ".be/bugs/".

Previously:
  $ be init
  $ be list
  ...
    File ".../libbe/bugdir.py", line 537, in list_uuids
      for uuid in os.listdir(self.get_path("bugs")):
  OSError: [Errno 2] No such file or directory: '.../.be/bugs'

"be html" fixes bug 2f0

Oops, update comment.From->author and .time_string->.date in becommands/html.py

Updated AUTHORS and copyright info for becommands/html.py.

Also adjusted update_copyright.sh to ignore Gianluca's temporary use
of
  gianluca <gian@galactica>
since he's now using
  Gianluca Montecchi <gian@grys.it>
on becommands/html.py.

Merged Gianluca's html output branch.

Changes to merge with my branch:

  * Added some reference to "be html" or "becommands/html.py" in his
    new bugs' summaries.  Bug titles should make clear to which aspect
    of our growing repository they refer.
  * Fixed unittests in becommands/html.py.
  * execute() kwarg "test"->!"manipulate_encodings
  * bugdir.simple_bug_dir() -> bugdir.SimpleBugDir()
  * bd.cleanup() at end of unittests

Sort bugs in HTML output.

XHTML attribute values should be strings, and cellspacing not allowed in tr.

Escape HTML entities (e.g. & and @) in HTML output

XHTML tags must be closed (e.g. <br />, not <br>)

XHTML attribute values should be strings.

Protect bug html from libbe.settings_object.EMPTY

Added DOCTYPE to detail html as well

Respect bugdir's encoding in html generation

Added DOCTYPE and post-</div> endlines

Improved threaded comment handling.

The previous method only grabbed first line of a comment.  The new
approach replaces the messy Comment->string->parse->html with
Comment->html.

Also replaced all open()s with codecs.open to allow for non-ASCII
output.  Alphabetized the non libbe imports while I was adding codecs.

Adjusted help/doc strings in becommands/html.py

- closed bugs f77, 2b8 d8d
- some changes to the css and to the html layout