Allow external use of Command.usage() and use CmdOptionParser.set_usage()

This fixes
  $ python be diff -2
  Usage: be [options]

  be: error: no such option: -2
and we now get the correct output
  $ python be diff -2
  Usage: be diff [options] [REVISION]

  be: error: no such option: -2

Restore comment stripping to libbe.ui.util.editor.editor_string()

Bzr storage now based off bzrlib module, not 'bzr' executible.

This should make repeated calls to Bzr storage instances _much_ faster,
since we avoid repeatedly loading and tearing down a python subprocess.

VersionedStorage_commit_TestCase now allows for versioned files created by self.s.init()

libbe.storage.vcs.base.VCS._init() now creates the '.be/version' file.

And
  python test.py libbe.storage.vcs.base
passes again.

Add most comments with ignore_missing_references=True.

Don't run pager for the 'comment' command.

It may need access to the tty for the spawned editor.

Moved InvalidStorageVersion from libbe.command to libbe.storage

Also added ConnectionError pretty-print to ui.command_line, storage
version checking to BugDir.duplicate_bugdir(), and optional revision
argument to Storage.storage_version().

Added storage.Storage.storage_version() and command.InvalidStorageVersion.

Now commands automatically check for storage version compatibility.

Fixed libbe.storage.util.upgrade

Note that it only upgrades on-disk versions, so you can't use a
non-VCS storage backend whose version isn't your command's current
storage version.  See #bea/110/bd1# for reasoning.  To see the on-disk
storage version, look at
  .be/version
To see your command's supported storage version, look at
  be --full-version

I added test_upgrade.sh to exercise the upgrade mechanism on BE's own
repository.

Fixed libbe.command.diff + ugly BugDir.duplicate_bugdir implementation

duplicate_bugdir() works, but for the vcs backends, it could require
shelling out for _every_ file read.  This could, and probably will, be
horribly slow.  Still it works ;).

I'm not sure what a better implementation would be.  The old
implementation checked out the entire earlier state into a temporary
directory
  pros: single shell out, simple upgrade implementation
  cons: wouldn't work well for HTTP backens

I think a good solution would run along the lines of the currently
commented out code in duplicate_bugdir(), where a
  VersionedStorage.changed_since(revision)
call would give you a list of changed files.  diff could work off of
that directly, without the need to generate a whole duplicate bugdir.
I'm stuck on how to handle upgrades though...

Also removed trailing whitespace from all python files.

Fixed libbe.command.subscribe

Fixed up libbe.diff

Transition to Command-format complete.

Well, except for going through and updating the _long_help()
strings.
  $ python test.py libbe.command
succeeds for everything except Diff and Subscribe, which is expected
since I haven't fixed up libbe.diff yet.

Transitioned set to Command-format

Transitioned target to Command-format

Transitioned tag to Command-format

Transitioned diff and subscribe to Command-format"

They don't work yet, since I still need to fix up libbe.diff and
replace BugDir.duplicate_bugdir() with something based on the new
Storage backend.

Transitioned show to Command-format

Transitioned status to Command-format

Transitioned severity to Command-format, also added Command._get_*()

The old
  .requires_*
thing was rediculous.  The new ._get_*() callbacks allow the caller
to provide a means for getting the expensive structures, which the
command can use, or not, as required.  This will also make it easier
to implement the completion callbacks.

The callbacks should probably have matching .set_*() methods, to
avoid the current cache tweaking
  cmd._storage = ...
etc.  But that can wait for now...

Transitioned remove to Command-format

Transitioned new to Command-format

Transitioned html to Command-format

Transitioned help to Command-format

Transitioned merge to Command-format

Transitioned import_xml to Command-format

Removed email_bugs, to be replaced by assorted storage backends.

Transitioned due to Command format

Transitioned depend to Command format

Transitioned comment to Command format

Transitioned init to Command format

Added parse_user() calls to Assign

Removed `be open` and `be close`.  Alias `be status` instead.

For example, in Bash
  alias be-open='be status open'

If you need to set options, this won't work, but command completion
with misc/completion/be.bash should make typing out
  be status open
not too painful ;).

Transitioned assign to Command format

The VCS storage backends are all mostly working now.

Running
  python test.py libbe.storage.vcs
yields some EmptyCommit problems, an issue with bzr revision ids, and
some trouble with git's remove(), but nothing too critical.

On the bright side, now
  ./be list
Detects and uses the bzr backend :).

Onwards to moving over the remaining commands...

Moved Arch over to Storage format

Move Darcs over to Storage format.

We have to work around the same issue as mercurial (hg) issue 618.  I
can't find a Darcs bug report for this, but it's been fixed somewhere
between 1.0.9 and 2.3.1.

Example scripts demonstrating the bug:
  $ darcs=/usr/bin/darcs
  $ mkdir x; cd x; $darcs init; echo a > b; $darcs add b; \
    $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo z>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo g>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    cd ..; rm -rf x > /dev/null; $darcs --version
  Finished recording patch 'a'
  No changes!
  No changes!
  1.0.9 (release)
And showing it's been fixed:
  $ darcs=~/.cabal/bin/darcs
  $ mkdir x; cd x; $darcs init; echo a > b; $darcs add b; \
    $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo z>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo g>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    cd ..; rm -rf x > /dev/null; $darcs --version
  Finished recording patch 'a'
  Finished recording patch 'z'
  Finished recording patch 'g'
  2.3.1 (release)

Check for repo existence before initializing VCS

Adjust Bzr._vcs_revision_id for 1-indexed revision ids.

Adjust Hg._vcs_revision_id for 1-indexed revision ids.

Don't require new revisions on empty commits.

For example, hg can't:
  $ mkdir x; cd x;
  x$ hg init;
  x$ echo a> b; hg add b;
  x$ hg commit -m 'r1';
  x$ hg commit -m 'r2';
  nothing changed
  x$ hg log;
  changeset:   0:e30558c36fca
  tag:         tip
  user:        W. Trevor King <wking@drexel.edu>
  date:        Sun Dec 13 19:48:47 2009 -0500
  summary:     hi
  x$ cd ..; rm -rf x

We shouldn't need this functionality anyway ;).

Work around mercurial (hg) issue 618.

Don't regexp out the short-revid in Git._vcs_commit()

The output version strings change:
  Version 1.5.4.3:
    Created initial commit 217efa7: MESSAGE
    Created commit acb3066: MESSAGE
  Version 1.6.4.4:
    [master (root-commit) c5b48cf] MESSAGE
    [master 66a48c1] MESSAGE
Instead, get the full revid, and look for its beginning in the output.

Fix Git._vcs_revision_id() offset bug.

Handle non-int args to VCS.revision_id at the VCS level.

Adjust Hg._vcs_revision_id to bail cleanly on non-int revids

Use detect rather than catching errors in _vcs_root().

.bzr transition.

More fixes for libbe.storage.vcs.hg + .git transition.

Fixes to get libbe.storage.vcs.hg passing tests.

Converted libbe.storage.vcs.hg to new Storage format.

Rearrange libbe.ui.command_line.CmdOptionParser._add_option() for Python 2.5

Python 2.6 doesn't mind, but 2.5 doesn't like kwargs after a *
expansion:

  $ ./be list
  Traceback (most recent call last):
    File "./be", line 5, in <module>
      import libbe.ui.command_line
    File "/home/wking/src/fun/be/be.restructure/libbe/ui/command_line.py", line 63
      *opt_strings, action='callback', dest=dest,
                         ^
  SyntaxError: invalid syntax

Converted libbe.storage.vcs.base to new Storage format.

Moved be to libbe.ui.command_line and transitioned to Command format.

Use get_input/output_encoding() in libbe.command.base.Command

Added libbe.ui.util.user for managing user ids.

Moved command completion from libbe.ui.util to libbe.command.util

Added libbe.command.base (with Command class) and moved list command to new format.

Moved bugdir, bug, and comment over to new id implementation.

Rethought libbe.util.id module

Reworked test.py to handle deeper directory structure

Moved properties.py and settings_object.py to libbe/storage/util/

Transitioned bugdir.py to new storage format.

Transitioned bug.py to new storage format.

Transitioned comment.py to new storage format.

Use .storage.is_read/writeable() rather than .sync_with_disk() in settings_object.py

Use mapfile to only create & parse mapfile strings, not files

Extended libbe.storage.base for separate read/write control.

Rather than just having .read_only to set write permissions and
assuming that read was always legal.  We also added user and backend
control of both readable and writeable:
  do you want to read/write?
and
  can you read/write?

Specialized NotSupported into NotWriteable and NotReadable.

Added automatic unicode encoding on .set(), and decode option on
.get().

Extend libbe.util.id to handle id (path) creation.

Added libbe.storage.base and test suite.

Initial directory restructuring to clarify dependencies

Reorganization bug created

Added libbe.pager and --paginate/--no-pager options to be.

Updated NEWS

Added --paginate and --no-pager to be

Use 'auto' for run_pager default rather than None

be --dir DIR COMMAND now roots the bugdir in DIR without changing directories.

Previously, for the directory structure
  A
  |-- X
  `-- Y
You could do something like
  A$ be --dir X diff --dir ../Y
Now it's
  A$ be --dir X diff --dir Y

The --root option to `be init` has been removed as redundant.  Replace
calls like
  be init --root DIR
with
  be --dir DIR init

Update libbe.pager copyright

Added libbe.pager

be --dir DIR COMMAND now roots the bugdir in DIR without changing directories.

Previously, for the directory structure
  A
  |-- X
  `-- Y
You could do something like
  A$ be --dir X diff --dir ../Y
Now it's
  A$ be --dir X diff --dir Y

The --root option to `be init` has been removed as redundant.  Replace
calls like
  be init --root DIR
with
  be --dir DIR init

Set BugDir(root=X) instead of os.chdir(X) in

becommands.target.bug_target(TARGET-BUG) now returns TARGET-BUG

Merged be.target-as-bug

Highlights:
 * targets are now a special type of bug (severity 'target'), so you
   can do all the things you do with normal bugs to them as well
   (e.g. comment on them, link them into dependency trees, etc.)
 * new command `be due` to get/set bug due dates.
 * changes to `be depend`
   * added options --status, --severity
 * changes to `be list`
   * added blacklist capability to --status, --severity, --assigned
   * removed options --target, --cur-target
   Replace:
     'be list --target TARGET' with
     'be depend --status -closed,fixed,wontfix --severity -target \
        $(be target --resolve TARGET)'
     'be list --cur-target' with
     'be depend --status -closed,fixed,wontfix --severity -target \
        $(be target --resolve)'
 * changes to `be target`
   * added option --resolve
   * removed option --list
   Replace:
     'be target --list' with 'be list --status all --severity target'
 * new function cmdutil.select_values() for whitelist/blacklist selection.
 * assorted cleanups and bugfixes

Marked as fixed 22b: Sorting targets chronologically

Updated NEWS.

Updated becommands/due.py copyright.

Added becommands/due.py to manage bug due dates.

This fulfills the following part of 22b:7

  * "due_by"

  We could add "due-by" to Bug.extra_strings as well, so that anyone
  could set due dates for any issue they wanted.

Currently there's not much going on, but perhaps other people will
have ideas for useful extensions.  Maybe
  be due --sort BUG-ID [BUG-ID ...]
or
  be --due-in-days 7

`be target` gains --resolve and loses --list.

`be target` now works with bug-style targets.

Docstring clarification in becommands.depend.get_blocked_by()

Removed target stuff from becommands/list.py and tweaked options.

Now --status, --severity, and --assigned all use
cmdutil.select_values() for nice whitelist/blacklist selection.

Moved becommands.depend._allowed_values() to cmdutil.select_values()

I like this code, and I want to use it for other places, e.g.
`be list`.

Also renamed depend options
  --limit-severity and --limit-status
to
  --severity and --status

Removed Bugs-Everywhere-Web/server.log from version control

Removed Bug.target reference from interfaces/xml/be-xml-to-mbox.

Remove Bug.target references from several becommands (all but target.py).

Added --limit-status and --limit-severity to `be depend'.

Currently only effective in tree mode, but that's where it matters
most.

Added retroactive dependencies between the legacy targets.

bug uuid                              created    resolved   target
ee681951-f254-43d3-a53a-1b36ae415d5c  revno: 45  revno: 51  patch-52
f51dc5a7-37b7-4ce1-859a-b7cb58be6494  revno: 41  revno: 41  0.1
f5c06914-dc64-4658-8ec7-32a026a53f55  revno: 45  revno: 93  0.2

reasonable target blockage:
  0.1 ------------| 0.2
     `-| patch-52 --|

Here are the old targets
  $ be list --severity target --status all
  4fc:ct: patch-52
  47c:ft: 0.1
  bd0:ft: 0.2
And here is the implemented dependency tree
  $ be depend -t -1 bd0
  bd0ebb56-fb46-45bc-af08-1e4a94e8ef3c blocked by:
   47c:ft: 0.1
    f51:ff: Can't create bugs
   4fc:ct: patch-52
    47c:ft: 0.1
     f51:ff: Can't create bugs
    ee6:cm: Support rcs configuration
   f5c:fm: Implement bug tree diff

Remove some more Bug.target references from libbe/bug.py

Updated the new target bugs' status to match blockers

Upgraded to Bugs Everywhere Directory v1.3