Bug 22b (target-bugs) blocked by 519 (on-disk upgrade) and assigned to Trevor

VCS vs. RCS terminology blocked by on-disk upgrade path.

Added comment 22b:7 about representing targets with Bug() instances.

Broke up be-handle-mail.parse() into parse_new(), _comment(), and _control().

Also fleshed out the be-handle-mail docstring.

Added on-disk representation upgrade bug

Handle BugDir.list_uuids() in the case of missing ".be/bugs/".

Previously:
  $ be init
  $ be list
  ...
    File ".../libbe/bugdir.py", line 537, in list_uuids
      for uuid in os.listdir(self.get_path("bugs")):
  OSError: [Errno 2] No such file or directory: '.../.be/bugs'

"be html" fixes bug 2f0

Oops, update comment.From->author and .time_string->.date in becommands/html.py

Updated AUTHORS and copyright info for becommands/html.py.

Also adjusted update_copyright.sh to ignore Gianluca's temporary use
of
  gianluca <gian@galactica>
since he's now using
  Gianluca Montecchi <gian@grys.it>
on becommands/html.py.

Merged Gianluca's html output branch.

Changes to merge with my branch:

  * Added some reference to "be html" or "becommands/html.py" in his
    new bugs' summaries.  Bug titles should make clear to which aspect
    of our growing repository they refer.
  * Fixed unittests in becommands/html.py.
  * execute() kwarg "test"->!"manipulate_encodings
  * bugdir.simple_bug_dir() -> bugdir.SimpleBugDir()
  * bd.cleanup() at end of unittests

Sort bugs in HTML output.

XHTML attribute values should be strings, and cellspacing not allowed in tr.

Escape HTML entities (e.g. & and @) in HTML output

XHTML tags must be closed (e.g. <br />, not <br>)

XHTML attribute values should be strings.

Protect bug html from libbe.settings_object.EMPTY

Added DOCTYPE to detail html as well

Respect bugdir's encoding in html generation

Added DOCTYPE and post-</div> endlines

Improved threaded comment handling.

The previous method only grabbed first line of a comment.  The new
approach replaces the messy Comment->string->parse->html with
Comment->html.

Also replaced all open()s with codecs.open to allow for non-ASCII
output.  Alphabetized the non libbe imports while I was adding codecs.

Adjusted help/doc strings in becommands/html.py

- closed bugs f77, 2b8 d8d
- some changes to the css and to the html layout

Merged bugfix branch be.missing-git-config

Now libbe.git.Git handles missing name/email and guesses instead.

Merged Gianluca's missing-git-config bug report

Imported Ben's VCS vs. RCS bug report from the mailing list.

Ssupport for UTF-8 in "be comment" calls to EDITOR/VISUAL.

Fixed width and index

Merged dependency tree branch.

Also exposes dependency manipulation functions/classes for use by
other modules.

Added dependency tree display with "be depend -t DEPTH BUG-ID".

Should probably be a directed graph, since people might not make
tree-like dependency graphs.  Cyclic graphs seem unlikely, though,
so a tree only risks redundant bug entries.

Added one-way-link repair.

Added two-way dependency links.

Still need to implement and test one-way-link repair.

Closed bug f77, minox fix to layout

Now becommands.new's unittest cleans up after itself.

Improved unittest cleanup by adding BugDir.cleanup().

Also simple_bug_dir -> SimpleBugDir class, which allows me to add
utility.Dir cleanup to SimpleBugDir.cleanup().

Still having a bit of trouble with the becommand.new tests due to
bugdir loading though...

Return to original directory after libbe.bugdir.SimpleBugDirTestCase().

This was causing strange "RCS not found" errors in the bzr and hg
unittests.  For example, the bzr tests all passed:
  wking@thor:be.wtk-rr$ python test.py bzr
  ...
  Ran 12 tests in 24.143s

  OK
Except when run after the bugdir tests:
  wking@thor:be.wtk-rr$ python test.py bugdir bzr
  ...
  Ran 19 tests in 1.862s

  FAILED (errors=12)
Where the failures were all
  AssertionError: bzr RCS not found

Fixed by returning to intial directory after SimpleBugDirTestCase
execution.  Problem is due to Python issues with unlinked directories
though, so bzr/hg will _still_ not work from unlinked directories.
This is for Python 2.5.4 on Ubuntu 8.04.3, but probably effects other
pythons too.

Details:

Isolated problem to unlinked directories:
  mkdir /tmp/a
  cd /tmp/a
  rmdir /tmp/a
  python /home/wking/src/fun/be/be.wtk-rr/test.py bzr
which fails with the same "RCS not found" errors because bzr fails:
  wking@thor:/$ mkdir /tmp/a; cd /tmp/a; rmdir /tmp/a; bzr --help; cd /;
  rmdir: removing directory, /tmp/a
  'import site' failed; use -v for traceback
  bzr: ERROR: Couldn't import bzrlib and dependencies.
  Please check bzrlib is on your PYTHONPATH.

  Traceback (most recent call last):
    File "/usr/bin/bzr", line 64, in <module>
      import bzrlib
  ImportError: No module named bzrlib
which fails becase 'import site' fails:
  wking@thor:/$ mkdir /tmp/a; cd /tmp/a; rmdir /tmp/a; python -c 'import site'; cd /;
  rmdir: removing directory, /tmp/a
  'import site' failed; use -v for traceback
  Traceback (most recent call last):
    File "<string>", line 1, in <module>
    File "/home/wking/lib/python/site.py", line 73, in <module>
      __boot()
    File "/home/wking/lib/python/site.py", line 33, in __boot
      imp.load_module('site',stream,path,descr)
    File "/usr/lib/python2.5/site.py", line 408, in <module>
      main()
    File "/usr/lib/python2.5/site.py", line 392, in main
      paths_in_sys = removeduppaths()
    File "/usr/lib/python2.5/site.py", line 96, in removeduppaths
      dir, dircase = makepath(dir)
    File "/usr/lib/python2.5/site.py", line 72, in makepath
      dir = os.path.abspath(os.path.join(*paths))
    File "/usr/lib/python2.5/posixpath.py", line 403, in abspath
      path = join(os.getcwd(), path)
  OSError: [Errno 2] No such file or directory
which fails because our cwd doesn't exist.  That makes sense ;).
Still I think Python should be able to handle it, so I reported it
  http://bugs.python.org/issue6612

Removed libbe.bzr.Bzr's automerge on post-commit.

I'd done this already in
  wking@drexel.edu-20090723154304-swmkxpfagdzff9ai
but for some reason the merge with the email branch brought it back.

Fixed libbe.bugdir.BugDirTestCase.testComments(sync_with_disk=False).

Fixed comment.cmp_attr unittest because "o" > "a" so cmp("o", "a") == 1.

Fixed indent spacing in libbe.diff.report().

Only increment depth if data_part != None.

Merged interactive email interface

Corrected some problems with revision_id() before an initial commit.

Added clean messages on bug_from_shortname failure.

So user's don't get confused.

Moved all the implementation into the html.py file
Implemented the creation of the index for active and inactive bugs, with detail for earch of them

be-handle-mail no longer sends blank subscriber emails when no change occurs.

It had been mailing out the empty MIMEMultipart root returned by
diff_tree.report().

Fixed _procmailrc rules.

"[" is a special character.

Also a few minor cleanups in be-handle-mail.

Restored Makefile to /home/wking installation

Cleaned up be-handle-mail's subscriber notification emails (fewer attachments).

Previously, every node in the DiffTree created it's own attachment.
Now they're consolidated into a single attachment per bug.  higher
level nodes are still one attachment per node.

Also:
  * added send_pgp_mime.append_text()
  * pulled guess_encoding() out of send_pgp_mime.encodedMIMEText().
  * renamed data_string -> data_part in libbe.diff, since it needn't be a string.

Allow "subscribe" command via the email interface.

Tweaked the output text for modified bugs in libbe.diff and be-handle-mail.

Added "be-handle-mail --notify-since REVISION".

Added an additional format check to be-handle-mail's pseudoheader parsing.

Marked outstanding email interface bugs as fixed.

Merged "be subscribe" and be-handle-mail subscription support.

Also assorted other changes and fixes in the be.subscribe branch.
Highlights:
  * Much more powerful libbe.diff with subclassable report generators.
  * "be diff" compares working copy with last commit by default.
  * comment reference text shown in "be comment" EDITOR footer
  * .revision_id() for all VCSs
  * meaningful comment comparison and stricter bug comparison
  * stricter .sync_with_disk interpretation.  See BugDir.__doc__.
  * Comment.From and .time_string -> .author and .date, for better
    conformance with settings_object.setting_name_to_attr_name().

Subscribing myself to all changes.

Moved be-handle-mail over to new libbe.diff classes.

Removed debugging exception from libbe/comment.py.

Comment.remove() now ignores .sync_with_disk when removing the root comment.

Added default to settings_object.versioned_property's change_hook_property.

Now change_hook properties handle defaults, which allows them to avoid
an initial
  None -> default
save hook trigger.

Removed the now-redundant read-only mode business in
becommands/diff.py.

Put bd into read-only mode in becommands/diff.py.

Otherwise comment comparison reads were triggering notice of the
  None -> EMPTY
transition in comment.extra_strings, which was causing a write to
disk.  This trigger is probably occuring in Bug and BugDir too.
Perhaps I should just remove the trigger...

Added cmp functions to libbe.comment, and fleshed them out in libbe.bug.

Previous comment comparison had just been the default Tree.__cmp__.

Fleshed out so A == B ensures no meaningful differences between A and B.

Also added first line of comments to new comment output in libbe.diff,
and added a comment/"settings" node and .comment_mod_string() (to
mirror bugdir and bug).

Hack Comment.load_settings() to work around From->Author change.

"Author" -> comment.author obeys settings_object.setting_name_to_attr_name(),
but all the current on-disk mapfiles talk about "From".  Add a hack to accept
both forms of on-disk comment files.

Cache data strings in libbe.diff.DiffTree.

This makes repeated .report() generation from the same tree more
efficient.

Major rewrite of libbe.diff introduces DiffTree and Diff classes.

To make the interface proposed by becommands/subscribers.py easier to
implement, I've moved the libbe.diff functionality into classes.  Now
it should be easy two tweak the output as desired by subclassing these
classes.  The basic idea is that Diff.report_tree() generates a
diff_tree tree of changes between two bugdirs, where diff_tree is some
subclass of DiffTree.  Each type of change has a default .*_string()
method producing a string summary of the change.  DiffTree.report()
moves through and generates a report by joining all those summary
strings to a single root, and DiffTree.report_string() serialized the
report to produce e.g. the output of becommands/diff.py.

.sync_with_disk fixes for libbe.bugdir and .comment.

In BugDir, only call bug.remove if bug.sync_with_disk==True.  If it's
just in memory, automatic garbage collection is sufficient cleanup.

Comment.set_sync_with_disk() had been setting .sync_with_disk=True
regardless of the value passed in.  Fixed now.

Also some minor textual adjustments.

Added DiskAccessRequired errors to libbe.bug.Bug and .comment.Comment.

BugDir._in_memory was a stupid idea.  Took it back out.

It was too confusing having three memory access levels:
  1) syncronized
  2) explicit
  3) memory-only
with .sync_with_disk selecting between 1 and 2/3 and ._in_memory
selecting between 2/3.

Now there are only two:
  1) syncronized
  2) memory-only excepting explicit BugDir.save() calls.

I avoid the problem of non-syncronized loading of on-disk bugs in
simple_bug_dir by restricting .list_uuids() to in-memory bugs when
.sync_with_disk==True.

Beyond that, I shifted the order of the BugDir methods around a bit so
that they were better grouped according to general idea.

Note that the DiskAccessRequired exceptions on filesystem access when
.sync_with_disk==False should be propogated to the Bug and Comment
methods, but I haven't done that yet.

Added in_memory to BugDir.__init__ to disable saving/loading completely.

The previous simple_bug_dir(on_disk==False) supprised me by loading my
BE bugdir when called from the BE directory.  This functionality could
probably move out to Bug and Comment as well, but I have avoided that
for now.

Added on_disk option to libbe.bugdir.simple_bug_dir().

Now you can easily generate simple_bug_dirs that live only in memory.

Renamed Comment.From and .time_string to .author and .date respectively.

Now they conform to the
  libbe.settings_object.setting_name_to_attr_name()
standard.

I fixed the references I found in
  becommands/comment.py
  interfaces/xml/be-mbox-to-xml
  interfaces/xml/be-xml-to-mbox
but there may have been some references or files that slipped through.

Added autocommit wishlist request by Martin Krafft

be-handle-mail successfully generates bugdir-changed notification emails.

This still needs a lot of cleaning up, but it worked for an "all"
subscription to "DIR", so I thought I'd lock in the current status ;).

"be diff" now compares agains the last commit (for versioning VCSs).

This is the default behaviour of most of the VCSs own diff commands.

Added .revision_id() to all the VCSs.

This makes it easier to compare recent revisions without a human
around to give you revision numbers.

libbe.rcs.RCS.commit() now actually calls .pre/postcommit().

It hadn't before, which defeats the Pu purpose of hook functions.
This hand't caused any problems though, since only libbe.bzr defined a
postcommit() and there were no precommit() definitions.

Bzr's postcommit() had been to auto-merge from the default merge
source.  Yikes!  Removed that ;).

Broke encodedMIMEText out of send-pgp-mime.PGPMimeMessageFactory.

It's useful enough even when you're not intending to encrypt
something.

Added Tree types and get_bugdir_subscribers to becommands/subscribe.py.

The Tree subclass SubscriptionType may be a few more lines to setup,
but they should be really easy to extend and will automatically keep
the longhelp and type handling in sync.

An example extension for bugdir types would be
  all -> assigned -> <user>
to subscribe only to bugs being assigned to the specified user.  You'd
have to loosen the currently strict InvalidType checking to make that
work, but the current type-tree handling would be up to the task.

Also a bit of reorganizing to hide the private functions.

Merged libbe.diff upgrades and libbe.tree.Tree.has_descendant from be.wtk-rr.

Also pulls "show referenced text" fix to "be comment".

Added bugdir setting comparision to libbe.diff.

Renamed libbe.diff.diff -> bug_diffs, since it doesn't compare bugdirs.

Load comments before bug comparision so cmp_comments will see them.

Use .settings_properties rather than static lists to create attribute
lists for change_lines().

Removed trailing endline from becommands/diff.py output.

Added libbe.bug.cmp_comments(), and added that to default bug comparison.

Fixed unrecognized "Test" typo in becommands/comment.py.

Added comment on notification granularity (commit-level).

Added libbe.tree.Tree.has_descendant().

Tree equality is now based on instance id.  It had previously used the
default list "equal if all elements are equal", which meant that all
the leaves matched each other.

libbe/tree.Tree.traverse(depthFirst)->depth_first & stripped trailing spaces.

Added becommands/subscribe.py to manage subscription list.

Show text of comment's reference in notes when spawning EDITOR.

Initial implementation of the comments export

Merged assorted changes from be.wtk-rr for BugDir.extra_strings.

Other highlights:
  * be show --no-comments
  * Improved *.sync_with_disk.
  * Improved be-mbox-to-xml.

Added: subscribe/unsubscribe (bug #..., "new bugs", "all", etc.)

Added .extra_strings to BugDir and Comment

I'll add Comment.extra_strings too, while I'm at it.

Added BugDir.extra_strings.

Bug._extra_strings_check_fn() guts now utility.iterable_full_of_strings().

Merged libbe.properties unittest fix

libbe.properties unittest changes due to "extra change-hook save" fix.

Missed these earlier.

I imported a few threads from the mailing list as wishlist bugs.

12c:uw: Bug aggregation.  Multi-repo meta-BE?
529:ow: How should we version BE?
2f0:aw: Static html report generation
22b:aw: Sorting targets chronologically
d99:aw: CherryPy interface "Cherry-flavored BE"
e08:aw: Interactive email interface

Added "--no-comments" to "be show".

Also moved the XML-header line to the top of the argument loop, since
there should only be one.  We're still missing global tags wrapping the
whole thing though...

Also set options.XML default to False.  It had been defaulting to
None, which was breaking the non-XML newline-adding check.

be-mbox-to-xml is now better at message-id, in-reply-to, and references.

A previous "len(ret) >= 0" had been stripping the alt-id and
in-reply-to from _all_ parts of multipart comments.  Now it only
strips them from parts after the first.  The following parts do not
specify and alt-id, and they all are in-reply-to the first part.

I also added the KNOWN_IDS list for selecting amongst an array of
possible in-reply-to or references ids.  This works well enough for
now, but would be more robust if we could import a list of previously
known ids from BE...

"be comment --xml" now saves the comments (again).

They are generated in memory (from_disk defaults to False)
  133:  new = comment.Comment(bug)
With the leaner saving since I started trusting sync_with_disk, they
were no longer making it to disk.

Easily fixed with an explicit save once you've got them all set up.

be-mbox-to-xml handles emails without explicit transfer encodings.

Added cProfile notes to README.dev.