Moved Arch over to Storage format

Move Darcs over to Storage format.

We have to work around the same issue as mercurial (hg) issue 618.  I
can't find a Darcs bug report for this, but it's been fixed somewhere
between 1.0.9 and 2.3.1.

Example scripts demonstrating the bug:
  $ darcs=/usr/bin/darcs
  $ mkdir x; cd x; $darcs init; echo a > b; $darcs add b; \
    $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo z>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo g>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    cd ..; rm -rf x > /dev/null; $darcs --version
  Finished recording patch 'a'
  No changes!
  No changes!
  1.0.9 (release)
And showing it's been fixed:
  $ darcs=~/.cabal/bin/darcs
  $ mkdir x; cd x; $darcs init; echo a > b; $darcs add b; \
    $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo z>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo g>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    cd ..; rm -rf x > /dev/null; $darcs --version
  Finished recording patch 'a'
  Finished recording patch 'z'
  Finished recording patch 'g'
  2.3.1 (release)

Check for repo existence before initializing VCS

Adjust Bzr._vcs_revision_id for 1-indexed revision ids.

Adjust Hg._vcs_revision_id for 1-indexed revision ids.

Don't require new revisions on empty commits.

For example, hg can't:
  $ mkdir x; cd x;
  x$ hg init;
  x$ echo a> b; hg add b;
  x$ hg commit -m 'r1';
  x$ hg commit -m 'r2';
  nothing changed
  x$ hg log;
  changeset:   0:e30558c36fca
  tag:         tip
  user:        W. Trevor King <wking@drexel.edu>
  date:        Sun Dec 13 19:48:47 2009 -0500
  summary:     hi
  x$ cd ..; rm -rf x

We shouldn't need this functionality anyway ;).

Work around mercurial (hg) issue 618.

Don't regexp out the short-revid in Git._vcs_commit()

The output version strings change:
  Version 1.5.4.3:
    Created initial commit 217efa7: MESSAGE
    Created commit acb3066: MESSAGE
  Version 1.6.4.4:
    [master (root-commit) c5b48cf] MESSAGE
    [master 66a48c1] MESSAGE
Instead, get the full revid, and look for its beginning in the output.

Fix Git._vcs_revision_id() offset bug.

Handle non-int args to VCS.revision_id at the VCS level.

Adjust Hg._vcs_revision_id to bail cleanly on non-int revids

Use detect rather than catching errors in _vcs_root().

.bzr transition.

More fixes for libbe.storage.vcs.hg + .git transition.

Fixes to get libbe.storage.vcs.hg passing tests.

Converted libbe.storage.vcs.hg to new Storage format.

Rearrange libbe.ui.command_line.CmdOptionParser._add_option() for Python 2.5

Python 2.6 doesn't mind, but 2.5 doesn't like kwargs after a *
expansion:

  $ ./be list
  Traceback (most recent call last):
    File "./be", line 5, in <module>
      import libbe.ui.command_line
    File "/home/wking/src/fun/be/be.restructure/libbe/ui/command_line.py", line 63
      *opt_strings, action='callback', dest=dest,
                         ^
  SyntaxError: invalid syntax

Converted libbe.storage.vcs.base to new Storage format.

Moved be to libbe.ui.command_line and transitioned to Command format.

Use get_input/output_encoding() in libbe.command.base.Command

Added libbe.ui.util.user for managing user ids.

Moved command completion from libbe.ui.util to libbe.command.util

Added libbe.command.base (with Command class) and moved list command to new format.

Moved bugdir, bug, and comment over to new id implementation.

Rethought libbe.util.id module

Reworked test.py to handle deeper directory structure

Moved properties.py and settings_object.py to libbe/storage/util/

Transitioned bugdir.py to new storage format.

Transitioned bug.py to new storage format.

Transitioned comment.py to new storage format.

Use .storage.is_read/writeable() rather than .sync_with_disk() in settings_object.py

Use mapfile to only create & parse mapfile strings, not files

Extended libbe.storage.base for separate read/write control.

Rather than just having .read_only to set write permissions and
assuming that read was always legal.  We also added user and backend
control of both readable and writeable:
  do you want to read/write?
and
  can you read/write?

Specialized NotSupported into NotWriteable and NotReadable.

Added automatic unicode encoding on .set(), and decode option on
.get().

Extend libbe.util.id to handle id (path) creation.

Added libbe.storage.base and test suite.

Initial directory restructuring to clarify dependencies

Reorganization bug created

Added libbe.pager and --paginate/--no-pager options to be.

Updated NEWS

Added --paginate and --no-pager to be

Use 'auto' for run_pager default rather than None

be --dir DIR COMMAND now roots the bugdir in DIR without changing directories.

Previously, for the directory structure
  A
  |-- X
  `-- Y
You could do something like
  A$ be --dir X diff --dir ../Y
Now it's
  A$ be --dir X diff --dir Y

The --root option to `be init` has been removed as redundant.  Replace
calls like
  be init --root DIR
with
  be --dir DIR init

Update libbe.pager copyright

Added libbe.pager

be --dir DIR COMMAND now roots the bugdir in DIR without changing directories.

Previously, for the directory structure
  A
  |-- X
  `-- Y
You could do something like
  A$ be --dir X diff --dir ../Y
Now it's
  A$ be --dir X diff --dir Y

The --root option to `be init` has been removed as redundant.  Replace
calls like
  be init --root DIR
with
  be --dir DIR init

Set BugDir(root=X) instead of os.chdir(X) in

becommands.target.bug_target(TARGET-BUG) now returns TARGET-BUG

Merged be.target-as-bug

Highlights:
 * targets are now a special type of bug (severity 'target'), so you
   can do all the things you do with normal bugs to them as well
   (e.g. comment on them, link them into dependency trees, etc.)
 * new command `be due` to get/set bug due dates.
 * changes to `be depend`
   * added options --status, --severity
 * changes to `be list`
   * added blacklist capability to --status, --severity, --assigned
   * removed options --target, --cur-target
   Replace:
     'be list --target TARGET' with
     'be depend --status -closed,fixed,wontfix --severity -target \
        $(be target --resolve TARGET)'
     'be list --cur-target' with
     'be depend --status -closed,fixed,wontfix --severity -target \
        $(be target --resolve)'
 * changes to `be target`
   * added option --resolve
   * removed option --list
   Replace:
     'be target --list' with 'be list --status all --severity target'
 * new function cmdutil.select_values() for whitelist/blacklist selection.
 * assorted cleanups and bugfixes

Marked as fixed 22b: Sorting targets chronologically

Updated NEWS.

Updated becommands/due.py copyright.

Added becommands/due.py to manage bug due dates.

This fulfills the following part of 22b:7

  * "due_by"

  We could add "due-by" to Bug.extra_strings as well, so that anyone
  could set due dates for any issue they wanted.

Currently there's not much going on, but perhaps other people will
have ideas for useful extensions.  Maybe
  be due --sort BUG-ID [BUG-ID ...]
or
  be --due-in-days 7

`be target` gains --resolve and loses --list.

`be target` now works with bug-style targets.

Docstring clarification in becommands.depend.get_blocked_by()

Removed target stuff from becommands/list.py and tweaked options.

Now --status, --severity, and --assigned all use
cmdutil.select_values() for nice whitelist/blacklist selection.

Moved becommands.depend._allowed_values() to cmdutil.select_values()

I like this code, and I want to use it for other places, e.g.
`be list`.

Also renamed depend options
  --limit-severity and --limit-status
to
  --severity and --status

Removed Bugs-Everywhere-Web/server.log from version control

Removed Bug.target reference from interfaces/xml/be-xml-to-mbox.

Remove Bug.target references from several becommands (all but target.py).

Added --limit-status and --limit-severity to `be depend'.

Currently only effective in tree mode, but that's where it matters
most.

Added retroactive dependencies between the legacy targets.

bug uuid                              created    resolved   target
ee681951-f254-43d3-a53a-1b36ae415d5c  revno: 45  revno: 51  patch-52
f51dc5a7-37b7-4ce1-859a-b7cb58be6494  revno: 41  revno: 41  0.1
f5c06914-dc64-4658-8ec7-32a026a53f55  revno: 45  revno: 93  0.2

reasonable target blockage:
  0.1 ------------| 0.2
     `-| patch-52 --|

Here are the old targets
  $ be list --severity target --status all
  4fc:ct: patch-52
  47c:ft: 0.1
  bd0:ft: 0.2
And here is the implemented dependency tree
  $ be depend -t -1 bd0
  bd0ebb56-fb46-45bc-af08-1e4a94e8ef3c blocked by:
   47c:ft: 0.1
    f51:ff: Can't create bugs
   4fc:ct: patch-52
    47c:ft: 0.1
     f51:ff: Can't create bugs
    ee6:cm: Support rcs configuration
   f5c:fm: Implement bug tree diff

Remove some more Bug.target references from libbe/bug.py

Updated the new target bugs' status to match blockers

Upgraded to Bugs Everywhere Directory v1.3

Added "Bugs Everywhere Directory v1.3" which transitions to bug-type targets.

See bug 22b6f620-d2f7-42a5-a02e-145733a4e366 for the motivation.  This
upgrade will replace all "target" settings.  The new BugDir target
setting will be the uuid of the appropriate target.  The Bug target
setting is removed, replaced by an extra_strings BLOCKS tag blocking
the appropriate target.  New target bugs are created on the fly as
required.

This addresses the following portion of 22b:7:

  * Targeting normal bugs

  With "be depend".  I think we should remove the "target" field from
  bugs, and move target dependencies over into the "be depend"
  framework.

  * be target list

  Would become "be list --severity target".  A target "severity" would
  keep target bugs distinct from other bug/issue types.

Fixed shortname -> bugname in becommands/show.py.

Fixes
  wking@thor:be.target-as-bug$ be show 22b:7
  Traceback (most recent call last):
    File "/home/wking/bin/be", line 65, in <module>
      sys.exit(cmdutil.execute(args[0], args[1:]))
    File "/home/wking/src/fun/be/be.target-as-bug/libbe/cmdutil.py", line 87, in execute
      restrict_file_access=restrict_file_access)
    File "/home/wking/src/fun/be/be.target-as-bug/becommands/show.py", line 82, in execute
      print output(args, bd, as_xml=options.XML, with_comments=options.comments)
    File "/home/wking/src/fun/be/be.target-as-bug/becommands/show.py", line 174, in output
      lines.append(comment.string(shortname=shortname))
  NameError: global name 'shortname' is not defined

Commented on 12c: Bug aggregation.  Multi-repo meta-BE?

Adjusted be-mbox-to-xml to not drop author info from multipart messages

Added missing author entries to some comments + cleanups.

Fix libbe.diff.Diff._changed_bugs() to handle subscriptions by bug shortname.

Cleanup Dir in becommands/init.py doctest.

Merged be.diff-subscribe

Highlights:
 * changes to `be diff`
   * exits with an error if required revision control is not possible.
     Previously it printed a message, but exitted with status 0.
   * removed options --new, --removed, --modified, --all
   * added options --uuids, --subscribe
 * New method diff.Diff.full_report() allows fast generation of
   similar report_tree()s via diff.DiffTree.masked.
 * New method diff.subscriptions_from_string() for consistent
   subscription string parsing.
 * clean up be-handle-mail.Message.subscriber_emails() with
   diff.Diff.report_tree(subscriptions)
 * hardcoded 'DIR' replaced with diff.BUGDIR_ID
 * assorted cleanups and bugfixes

Updated NEWS

Adjust libbe.diff.DiffTree to fix failed doctest.

======================================================================
FAIL: Doctest: libbe.diff.DiffTree
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/usr/lib/python2.5/doctest.py", line 2128, in runTest
    raise self.failureException(self.format_failure(new.getvalue()))
AssertionError: Failed doctest test for libbe.diff.DiffTree
  File "/home/wking/src/fun/be/be.diff-subscribe/libbe/diff.py", line 136, in DiffTree

----------------------------------------------------------------------
File "/home/wking/src/fun/be/be.diff-subscribe/libbe/diff.py", line 172, in libbe.diff.DiffTree
Failed example:
    print bugdir.report_string()
Exception raised:
    Traceback (most recent call last):
      File "/usr/lib/python2.5/doctest.py", line 1228, in __run
        compileflags, 1) in test.globs
      File "<doctest libbe.diff.DiffTree[18]>", line 1, in <module>
        print bugdir.report_string()
      File "/home/wking/src/fun/be/be.diff-subscribe/libbe/diff.py", line 213, in report_string
        return "\n".join(self.report())
    TypeError

Use new libbe.diff.Diff.report_tree(subscriptions) in be-handle-mail.

This makes Message.subscriber_emails() much cleaner.

Also fix libbe.diff.Diff._sub_report() to handle missing
'bugdir/settings'.

Added libbe.diff.SubscriptionType.__cmp__ so that
  SubscriptionType('all') == SubscriptionType('all')
This is important when comparing the types returned by
  becommands.subscribe.get_bugdir_subscribers()
with the libbe.diff.*_TYPE_* types.

Added libbe.diff.Diff.full_report() for speed with several subscription lists.

Now report_tree() returns an appropriately .masked version of the
cached full report, which is much faster than recomputing a new diff
tree from scratch.

Also fixed bug in libbe.diff.DiffTree.report() where
.requires_children=True was exposing nodes with children, when it
should (and now does) only expose nodes with _unmasked_ children.

More 'DIR'->diff.BUGDIR_ID updates

Created diff.subscriptions_from_string()

Added --subscribe option to `be diff`

Added BUGDIR_TYPE_MOD and BUGDIR_TYPE_REM to libbe.diff.

Now you can subscribe to only hear about modified bugs or only about
removed bugs.  Kindof odd for a general subscription, but possibly
useful as an argument to the upcoming `be diff --subscribe`, e.g.
  be diff --subscribe DIR:mod
which would replace the old
  be diff --modified

Adjusted diff.Subscription.__init__() to guess type_root if required.

Added subscriptions option to diff.Diff.report_tree().

Also added diff.BUGDIR_ID to avoid lots of magic 'DIR' definitions,
and added diff.Subscription class to make the old (id, type) tuples a
bit more elegant.

Moved subscription types from becommands/subscribe.py to libbe/diff.py.

Replaced `be diff` options --new, --removed, --modified, and --all with --uuids.

We'll be adding a --subscribe option which will select the
bugs/changes we're interested in, which deprecates the selection
portion of the old options.  The new --uuids just selects the "bug
uuid" output over the default "change summary" output.

Set boolean options default to False in becommands/list.py

Otherwise they default to None.  It doesn't matter at the moment,
since all the comparisons seem to be
  if options.XYZ == True:
but this protects against confusion in the future if someone tries
  if options.XYZ == False:

`be diff` raises UsageError if required revision control not possible.

It had previously printed an message and exitted without error.

Fix cmdutil.help() calls in be to use args not sys.argv.

sys.argv won't work if there are any options in the be call, e.g.
  be -d DIR diff

Add __eq__ and __ne__ methods to Tree.

This fixes a bug introduced by
  revision-id: wking@drexel.edu-20091205034412-8apqxq8zqim48tf7
  committer: W. Trevor King <wking@drexel.edu>
  timestamp: Fri 2009-12-04 22:44:12 -0500
  message:
    Use __cmp__ instead of __eq__ for Tree comparison.

When I made that commit, I'd forgotten that Tree inherits an __eq__
method from list, so it won't fall back to the __cmp__ method to
determine equality.  The new __eq__ and __ne__ methods use __cmp__
internally, so further subclasses (e.g. Comment) only need to override
__cmp__.  Of course, list also defines __ge__, __gt__, __le__, __lt__,
... which I don't bother with, so stay away from TreeA > TreeB and the
like.

Merged `be diff --dir DIR` functionality

Updated NEWS

Updated NEWS

Added --dir option to `be diff'.

Now you can compare two repositories:
  be -d branchA diff -d branchB
or
  branchA$ be diff -d ../branchB
which is helpful for VCSs like bzr that lack cross-branch revid
visibility.  Git users can still use
  branchA$ be diff REVID
where REVID is a commit from any branch in the repo.

This new functionality acts like a BE counterpart to `bzr missing DIR'.

Fixed removed comment listing in libbe/diff.py.

Previous implementation guaranteed to raise KeyErrors, because new bug
doesn't contain the uuid.

Use __cmp__ instead of __eq__ for Tree comparison.

This ensures that __ne__ will also work, and makes it easier to
subclass Tree.  For example, in the previous implementation you could
have
  >>> commA == commB
  False
  >>> cmp(commA, commB)
  0
if the comments had different ids, but equivalent content.

At the user-interface level, this removes some false "modified
comments" from `be diff`.

Don't necessarily initialize a new VCS in BugDir.load_settings().

We may already have the right type, in which case, don't mess with it.
This speeds up bugdir loading a bit more:
  $ time be list > /dev/null

  real    0m1.245s
  user    0m1.116s
  sys     0m0.124s

Don't get VCS version in VCS.__init__().

Often, this just causes a slow subprocess.Popen() call to
get information we woln't even look at.

Old benchmark:
  $ time be list > /dev/null

  real    0m2.369s
  user    0m1.980s
  sys     0m0.388s
New benchmark:
  $ time be list > /dev/null

  real    0m1.472s
  user    0m1.304s
  sys     0m0.164s

Added libbe.TESTING (defaults to False).

This flag allows us to skip unittest and testsuite declaration if we
woln't need them.  It speeds up simple be calls a suprising amount.
With Testing=True (the old behavior):
  wking@thor:be.wtk$ time ./be > /dev/null

  real    0m0.393s
  user    0m0.340s
  sys     0m0.048s
With TESTING=False (the new behavior):
  be.wtk$ time ./be > /dev/null

  real    0m0.216s
  user    0m0.152s
  sys     0m0.064s

This adjustment was inspired by Jakub Wilk's Debian bug:
  http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=559295

Added copyright blurbs to __init__.py files.

Remove _test() functions from plugin.py and cmdutil.py.

Testing should be handled through test.py, not by calling per-module
_test() functions.