Fixed up the completion helpers in libbe.command.util

This entailed a fairly thorough cleanup of libbe.util.id.

Remaining unimplemented completion helpers:
  * complete_assigned()
  * complete_extra_strings()
Since these would require scanning all (active?) bugs to compile
lists, and I was feeling lazy...

Commented #bea/110/781# on why I'm not supporting Arch.child(revision)

Updated Darcs backend towards supporting .children(revision).

._vcs_isdir() and ._vcs_listdir() will need to parse the output of
  darcs show files [options] --patch REVISION PATH
but both the --patch option and the PATH argument are new, and I can't
get a recent enough version of Darcs to compile on my system.
Theoretically they will work, but they remain untested for now.

I don't think it's worth rolling my own
  darcs show files --patch REVISION
to support earlier versions of Darcs, since the only solution I can
think of now would be to check out the given revision and use
os.walk() or some such, and that would be really ugly...

Also added .version_cmp() for easy version comparison.

Reindented ._vcs_get_file_contents() to remove trailing elses since
the if clauses all contain returns.

Added an additional VCS._u_rel_path() unittest.

Also re-enabled the unitsuite in libbe.storage.vcs.base, which
I'd disabled while testing the VCS unittests.

Added root directory handling to VCS._u_rel_path().

Now it returns '.' when you ask for the relative path from root to
itself.  It used to raise AssertionError or InvalidPath.

Adjust Git._vcs_isdir() to Python-2.5-compatible syntax

Updated Hg backend to support .children(revision).

Hg storage now based off mercurial module, not 'hg' executible.

This should make repeated calls to Hg storage instances _much_ faster,
since we avoid repeatedly loading and tearing down a python subprocess.
For example, the testsuite runs ~6x faster on my box.

Here's a run with the old Hg implementation:
  $ python test.py libbe.storage.vcs.hg
  ...
  =================================
  ERROR: test_get_previous_children
  ---------------------------------
  Traceback (most recent call last):
    ...
  NotImplementedError

  ---------------------------------
  Ran 49 tests in 133.285s

  FAILED (errors=1)

A run with the new implementation gives the same results, except for:
  Ran 49 tests in 22.328s

Adapted BugDir.duplicate_bugdir() to use revision-dependend Storage.children()

Updated Git backend to support .children(revision).

+ some minor fixes to vcs/base.py and vcs/bzr.py

Also removed .be/id-cache, which should never have been versioned in
the first place.

Fixed VCS.children() and Bzr.children() for non-None revisions.

Now they both pass
  VersionedStorage_commit_TestCase.test_commit_revision_ids()

The .children() implementation for previous revisions lacks the
working directory's id<->path cache, so it's fairly slow...

Added VersionedStorage_commit_TestCase.test_commit_revision_ids()

Allow external use of Command.usage() and use CmdOptionParser.set_usage()

This fixes
  $ python be diff -2
  Usage: be [options]

  be: error: no such option: -2
and we now get the correct output
  $ python be diff -2
  Usage: be diff [options] [REVISION]

  be: error: no such option: -2

Restore comment stripping to libbe.ui.util.editor.editor_string()

Bzr storage now based off bzrlib module, not 'bzr' executible.

This should make repeated calls to Bzr storage instances _much_ faster,
since we avoid repeatedly loading and tearing down a python subprocess.

VersionedStorage_commit_TestCase now allows for versioned files created by self.s.init()

libbe.storage.vcs.base.VCS._init() now creates the '.be/version' file.

And
  python test.py libbe.storage.vcs.base
passes again.

Add most comments with ignore_missing_references=True.

Don't run pager for the 'comment' command.

It may need access to the tty for the spawned editor.

Moved InvalidStorageVersion from libbe.command to libbe.storage

Also added ConnectionError pretty-print to ui.command_line, storage
version checking to BugDir.duplicate_bugdir(), and optional revision
argument to Storage.storage_version().

Added storage.Storage.storage_version() and command.InvalidStorageVersion.

Now commands automatically check for storage version compatibility.

Fixed libbe.storage.util.upgrade

Note that it only upgrades on-disk versions, so you can't use a
non-VCS storage backend whose version isn't your command's current
storage version.  See #bea/110/bd1# for reasoning.  To see the on-disk
storage version, look at
  .be/version
To see your command's supported storage version, look at
  be --full-version

I added test_upgrade.sh to exercise the upgrade mechanism on BE's own
repository.

Fixed libbe.command.diff + ugly BugDir.duplicate_bugdir implementation

duplicate_bugdir() works, but for the vcs backends, it could require
shelling out for _every_ file read.  This could, and probably will, be
horribly slow.  Still it works ;).

I'm not sure what a better implementation would be.  The old
implementation checked out the entire earlier state into a temporary
directory
  pros: single shell out, simple upgrade implementation
  cons: wouldn't work well for HTTP backens

I think a good solution would run along the lines of the currently
commented out code in duplicate_bugdir(), where a
  VersionedStorage.changed_since(revision)
call would give you a list of changed files.  diff could work off of
that directly, without the need to generate a whole duplicate bugdir.
I'm stuck on how to handle upgrades though...

Also removed trailing whitespace from all python files.

Fixed libbe.command.subscribe

Fixed up libbe.diff

Transition to Command-format complete.

Well, except for going through and updating the _long_help()
strings.
  $ python test.py libbe.command
succeeds for everything except Diff and Subscribe, which is expected
since I haven't fixed up libbe.diff yet.

Transitioned set to Command-format

Transitioned target to Command-format

Transitioned tag to Command-format

Transitioned diff and subscribe to Command-format"

They don't work yet, since I still need to fix up libbe.diff and
replace BugDir.duplicate_bugdir() with something based on the new
Storage backend.

Transitioned show to Command-format

Transitioned status to Command-format

Transitioned severity to Command-format, also added Command._get_*()

The old
  .requires_*
thing was rediculous.  The new ._get_*() callbacks allow the caller
to provide a means for getting the expensive structures, which the
command can use, or not, as required.  This will also make it easier
to implement the completion callbacks.

The callbacks should probably have matching .set_*() methods, to
avoid the current cache tweaking
  cmd._storage = ...
etc.  But that can wait for now...

Transitioned remove to Command-format

Transitioned new to Command-format

Transitioned html to Command-format

Transitioned help to Command-format

Transitioned merge to Command-format

Transitioned import_xml to Command-format

Removed email_bugs, to be replaced by assorted storage backends.

Transitioned due to Command format

Transitioned depend to Command format

Transitioned comment to Command format

Transitioned init to Command format

Added parse_user() calls to Assign

Removed `be open` and `be close`.  Alias `be status` instead.

For example, in Bash
  alias be-open='be status open'

If you need to set options, this won't work, but command completion
with misc/completion/be.bash should make typing out
  be status open
not too painful ;).

Transitioned assign to Command format

The VCS storage backends are all mostly working now.

Running
  python test.py libbe.storage.vcs
yields some EmptyCommit problems, an issue with bzr revision ids, and
some trouble with git's remove(), but nothing too critical.

On the bright side, now
  ./be list
Detects and uses the bzr backend :).

Onwards to moving over the remaining commands...

Moved Arch over to Storage format

Move Darcs over to Storage format.

We have to work around the same issue as mercurial (hg) issue 618.  I
can't find a Darcs bug report for this, but it's been fixed somewhere
between 1.0.9 and 2.3.1.

Example scripts demonstrating the bug:
  $ darcs=/usr/bin/darcs
  $ mkdir x; cd x; $darcs init; echo a > b; $darcs add b; \
    $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo z>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo g>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    cd ..; rm -rf x > /dev/null; $darcs --version
  Finished recording patch 'a'
  No changes!
  No changes!
  1.0.9 (release)
And showing it's been fixed:
  $ darcs=~/.cabal/bin/darcs
  $ mkdir x; cd x; $darcs init; echo a > b; $darcs add b; \
    $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo z>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    echo g>b; $darcs record --all --author 'x <a@b.com>' --logfile b; \
    cd ..; rm -rf x > /dev/null; $darcs --version
  Finished recording patch 'a'
  Finished recording patch 'z'
  Finished recording patch 'g'
  2.3.1 (release)

Check for repo existence before initializing VCS

Adjust Bzr._vcs_revision_id for 1-indexed revision ids.

Adjust Hg._vcs_revision_id for 1-indexed revision ids.

Don't require new revisions on empty commits.

For example, hg can't:
  $ mkdir x; cd x;
  x$ hg init;
  x$ echo a> b; hg add b;
  x$ hg commit -m 'r1';
  x$ hg commit -m 'r2';
  nothing changed
  x$ hg log;
  changeset:   0:e30558c36fca
  tag:         tip
  user:        W. Trevor King <wking@drexel.edu>
  date:        Sun Dec 13 19:48:47 2009 -0500
  summary:     hi
  x$ cd ..; rm -rf x

We shouldn't need this functionality anyway ;).

Work around mercurial (hg) issue 618.

Don't regexp out the short-revid in Git._vcs_commit()

The output version strings change:
  Version 1.5.4.3:
    Created initial commit 217efa7: MESSAGE
    Created commit acb3066: MESSAGE
  Version 1.6.4.4:
    [master (root-commit) c5b48cf] MESSAGE
    [master 66a48c1] MESSAGE
Instead, get the full revid, and look for its beginning in the output.

Fix Git._vcs_revision_id() offset bug.

Handle non-int args to VCS.revision_id at the VCS level.

Adjust Hg._vcs_revision_id to bail cleanly on non-int revids

Use detect rather than catching errors in _vcs_root().

.bzr transition.

More fixes for libbe.storage.vcs.hg + .git transition.

Fixes to get libbe.storage.vcs.hg passing tests.

Converted libbe.storage.vcs.hg to new Storage format.

Rearrange libbe.ui.command_line.CmdOptionParser._add_option() for Python 2.5

Python 2.6 doesn't mind, but 2.5 doesn't like kwargs after a *
expansion:

  $ ./be list
  Traceback (most recent call last):
    File "./be", line 5, in <module>
      import libbe.ui.command_line
    File "/home/wking/src/fun/be/be.restructure/libbe/ui/command_line.py", line 63
      *opt_strings, action='callback', dest=dest,
                         ^
  SyntaxError: invalid syntax

Converted libbe.storage.vcs.base to new Storage format.

Moved be to libbe.ui.command_line and transitioned to Command format.

Use get_input/output_encoding() in libbe.command.base.Command

Added libbe.ui.util.user for managing user ids.

Moved command completion from libbe.ui.util to libbe.command.util

Added libbe.command.base (with Command class) and moved list command to new format.

Moved bugdir, bug, and comment over to new id implementation.

Rethought libbe.util.id module

Reworked test.py to handle deeper directory structure

Moved properties.py and settings_object.py to libbe/storage/util/

Transitioned bugdir.py to new storage format.

Transitioned bug.py to new storage format.

Transitioned comment.py to new storage format.

Use .storage.is_read/writeable() rather than .sync_with_disk() in settings_object.py

Use mapfile to only create & parse mapfile strings, not files

Extended libbe.storage.base for separate read/write control.

Rather than just having .read_only to set write permissions and
assuming that read was always legal.  We also added user and backend
control of both readable and writeable:
  do you want to read/write?
and
  can you read/write?

Specialized NotSupported into NotWriteable and NotReadable.

Added automatic unicode encoding on .set(), and decode option on
.get().

Extend libbe.util.id to handle id (path) creation.

Added libbe.storage.base and test suite.

Initial directory restructuring to clarify dependencies

Reorganization bug created

Added libbe.pager and --paginate/--no-pager options to be.

Updated NEWS

Added --paginate and --no-pager to be

Use 'auto' for run_pager default rather than None

be --dir DIR COMMAND now roots the bugdir in DIR without changing directories.

Previously, for the directory structure
  A
  |-- X
  `-- Y
You could do something like
  A$ be --dir X diff --dir ../Y
Now it's
  A$ be --dir X diff --dir Y

The --root option to `be init` has been removed as redundant.  Replace
calls like
  be init --root DIR
with
  be --dir DIR init

Update libbe.pager copyright

Added libbe.pager

be --dir DIR COMMAND now roots the bugdir in DIR without changing directories.

Previously, for the directory structure
  A
  |-- X
  `-- Y
You could do something like
  A$ be --dir X diff --dir ../Y
Now it's
  A$ be --dir X diff --dir Y

The --root option to `be init` has been removed as redundant.  Replace
calls like
  be init --root DIR
with
  be --dir DIR init

Set BugDir(root=X) instead of os.chdir(X) in

becommands.target.bug_target(TARGET-BUG) now returns TARGET-BUG

Merged be.target-as-bug

Highlights:
 * targets are now a special type of bug (severity 'target'), so you
   can do all the things you do with normal bugs to them as well
   (e.g. comment on them, link them into dependency trees, etc.)
 * new command `be due` to get/set bug due dates.
 * changes to `be depend`
   * added options --status, --severity
 * changes to `be list`
   * added blacklist capability to --status, --severity, --assigned
   * removed options --target, --cur-target
   Replace:
     'be list --target TARGET' with
     'be depend --status -closed,fixed,wontfix --severity -target \
        $(be target --resolve TARGET)'
     'be list --cur-target' with
     'be depend --status -closed,fixed,wontfix --severity -target \
        $(be target --resolve)'
 * changes to `be target`
   * added option --resolve
   * removed option --list
   Replace:
     'be target --list' with 'be list --status all --severity target'
 * new function cmdutil.select_values() for whitelist/blacklist selection.
 * assorted cleanups and bugfixes

Marked as fixed 22b: Sorting targets chronologically

Updated NEWS.

Updated becommands/due.py copyright.

Added becommands/due.py to manage bug due dates.

This fulfills the following part of 22b:7

  * "due_by"

  We could add "due-by" to Bug.extra_strings as well, so that anyone
  could set due dates for any issue they wanted.

Currently there's not much going on, but perhaps other people will
have ideas for useful extensions.  Maybe
  be due --sort BUG-ID [BUG-ID ...]
or
  be --due-in-days 7