Add _uuids_cache management to BugDir._clear_bugs

Add wrap_id to improve id handling in be-xml-to-mbox

Converted `be list --xml` to <be-xml> format.

Fixed up be-xml-to-mbox following the recent libbe restructuring.

Moved stdout manipulation in be-mail-to-xml into the if __name__ ==
'__main__' block, in case some other module wants to recycle some of
its functions/methods.

Fix not-yet-loaded bug in SavedSettingsObject._get_saved_settings()

The earlier implementation only copied in the currently loaded
properties and the required ones.  The new implementation copies
in _all_ the non-default properties.

Improve `be import-xml` handling of root comments + tests.

Fix BugDir._uuid_cache management for new_bug()/remove_bug().

Initial implementation in wking@drexel.edu-20100120192451-j206hn1s78u9a3ys
missed them.

Strip footers (signatures) in be-mail-to-xml

'be-mbox-to-xml' -> 'be-mail-to-xml' + support for several formats.

Optimized BugDir.uuids, caching on-disk bug uuids.

Output of
  python -m cProfile -o profile be list
  python -c "import pstats; p=pstats.Stats('profile'); p.sort_stats('cumulative').print_stats()"
on my slow netbook before optimization:
   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
    10290    0.417    0.000   10.832    0.001 libbe/bugdir.py:237(uuids)
after optimization:
      105    0.063    0.001    0.250    0.002 libbe/bugdir.py:237(uuids)
The old generator produced many more calls than the new
implementation, but the number of calls was not the source of the
slowdown (data not shown ;).

Add entry points for functionality needed by CFBE (and probably other UIs)

Adjust to modern mercurial version definition.

  hg-stable$ hg log --patch mercurial/util.py
  ...
  changeset:   7640:9626819b2e3d
  user:        Matt Mackall <mpm@selenic.com>
  date:        Sat Jan 10 18:02:38 2009 -0600
  summary:     refactor version code

  diff --git a/mercurial/util.py b/mercurial/util.py
  --- a/mercurial/util.py
  +++ b/mercurial/util.py
  @@ -142,6 +142,14 @@
       """Find the length in characters of a local string"""
       return len(s.decode(_encoding, "replace"))

  +def version():
  +    """Return version information if available."""
  +    try:
  +        import __version__
  +        return __version__.version
  +    except ImportError:
  +        return 'unknown'
  +
   # used by parsedate
  ...
  hg-stable$ hg tags
  ...
  1.2                             7823:11efa41037e2
  1.1.2                           7497:11a4eb81fb4f
  ...

Fix _u_rel_path problems in VCS._children

Fixed `be help` (used to raise NotImplementedError)

Add better help message on COMMAND-less be call

Added shortname (.id.user()) data to `be html`s comment data

Allow forward slashes (/) in commit email tags in be-handle-mail.

Also move unitsuite definition to the end of the file so it picks up
GenerateGlobalTagsTestCase.

Fixed libbe.utuil->libbe.util typo in be-handle-mail.

Also removed some references to the old XML interface.

Use relative paths *._vcs_* methods.

Merged be.faster-diff branch, fixing #bea/ed5#.

Marked #bea/ed5# as fixed

Adjust command.serve.Serve doctest to clarify remaining test failures.

Current test output
  $ python test.py libbe
  ...
  FAILED (failures=1, errors=3)

All failures and errors due to unimplemented functionality

Errors:
  * Darcs._vcs_isdir() not implemented (for Darcs <= 2.3.1)
  * Arch._vcs_path() not implemented
  * Arch._vcs_changed() not implemented

Failures:
  * command.serve.Serve tests not implemented

Better error messages in VCS._get

Work around the extra output of `tla file-find` to get path.

Example output:
  * build pristine tree for ...--patch-1
  * from import revision: ...--base-0
  * patching for revision: ...--patch-1
  ./{arch}/++pristine-trees/...--patch-1/./.be/unlikely id

Generate string properly in libbe.util.subproc.CommandError

Work around Mercurial issue618 in Arch backend.

Also add some NotImplementedErrors for clearer diagnostics.

Added changed() support for Darcs

Fix modified ID reference in libbe.diff.Diff._changed_bugs

Add .changed support to HTTP storage backend.

Also work around urlparse.parse_qs location in Python <= 2.5.

Add ancestors support to HTTP storage

Add .changed() support to Hg

Fix VCS doctest for +revision InvalidID error message

Add class name to StorageTestCase failure reporting

Use RevisionedBugDir, not .duplicate_bugdir() in libbe.command.diff

Optimized libbe.diff.Diff._changed when old bugdir is a RevisionedBugDir

Added VCS._u_find_id_from_manifest for faster id->path calculation

Adjust VCSTestCase method docstrings for unittest.

Added VCS._ancestors

Added Storage.ancestors

Moved BugDir.duplicate_bugdir to RevisionedBugDir class

Ignore paths with _u_path_to_id errors in VCS.changed

Add .changed() support to Bzr

Add .changed() support to Git

Add .changed() support to VCS

Too much trouble to handle Git's lack of dir versioning in test_get_previous_children

Add VersionedStorageTestCases in make_versioned_storage_testcase_subclasses

Added libbe.storage.base.VersionedStorage.changed() and a test.

Also converted libbe.storage.base.VersionedStorage revision ids
from integers to strings.

Update setup.py to install submodules.

Merged be.roadmap, adding dev issues #bea/ed5#, #bea/814#, and #bea/343#.

Also changed `be list --uuids` to `be list --ids`

Added #bea/343# : Attach tests to bugs

Changed `be list --uuids` to `be list --ids`

Added doc/distributed_bugtracking with some simple use-case notes

Add #bea/814# : Add Roundup-like flexibility

Add #bea/ed5# : Slow and ugly diff implementation

Merged be.html-storage

Added HTTP storage backend and server
Serve a local repo on http://localhost:8000
  be --repo REPO serve
Then connect from other be calls, for example
  be --repo http://localhost:8000 list

Updated NEWS

Fixed update_copyright.py's subproc import and updated copyrights

Serve.handle_*() now raise _HandlerError so the .do_*() methods know.

Before there wasn't a good way to tell if the handler had experienced
an error, or just didn't want to return anything.

Fixed commit handling in commands.serve and storage.http

Use more kwargs in libbe.command.serve

kwargs make things easier to maintain.

Also make sure the .handle_*() methods return two items
  (content,ctype)
even when both are None.

Improved POST and error handling in `be serve`

POST handling:

Drop the cgi.FieldStorage() in favor of the old urlparse.parse_qs().
We need a dictionary, which FieldStorage is not.  However, I added
.read_post_data() since my old self.rfile.read() was hanging.  The
read_post_data() implementation comes from the
FieldStorage.__init__().

Error handling:

wrap .handle_*() blocks in try/except to handle Storage errors

Fixed some stupid typos in libbe/storage/http.py

Improved POST parsing, fixed Serve._long_help(), added --read-only.

POST parsing via cgi.FieldStorage from Doug Hellmann's
  http://blog.doughellmann.com/2007/12/pymotw-basehttpserver.html

Added libbe.command.serve and libbe.storage.http for HTTP backend.

Now the following works:
  some-BE-dir$ ./be serve
  $ ./be --repo http://localhost:8000 list

I haven't come up with a clean idea for testing this yet, so other
commands may be broken, but once we get the testing working, it
shouldn't be too hard to get everything working over HTTP :).

Hand nonexistent paths in VCS._u_search_parent_directories().

search_parent_directries raises an AssertionError if the original path
doesn't exist.

Return a meaningful Storage.version()

Updated copyright information

Merged be.restructure, major internal reorganization.

Added a bunch of classes to make the commands, user interfaces, and
storage backends more abstract and distinct.  This should make it much
easier to extend and maintain BE.

Features:
 * Directory restructured:
   becommands/ -> libbe/commands
   submods sorted by functionality.
 * Lots of new classes:
   Option, Argument, Command
   InputOutput, StorageCallbacks, UserInterface
   Storage
 * Consolidated ID handling in libbe.util.id
 * Transitioned VCS backends for Python-based VCSs from subprocess
   calss to internal python calls.

Plus the user-visible changes:
 * New bugdir/bug/comment ID format replaces old bug:comment format.
 * Deprecated support for `be diff` on Arch and Darcs <= 2.3.1.  A new
   backend abstraction (Storage) makes the former implementation
   ungainly.
 * Improved command completion.
 * Removed commands close, open, email_bugs,
 * Flipped some arguments
   `be assign BUG-ID [ASSIGNEE]` -> `be status ASSIGNED BUG-ID ...`
   `be severity BUG-ID SEVERITY` -> `be severity SEVERITY BUG-ID ...`
   `be status BUG-ID STATUS` -> `be status STATUS BUG-ID ...`

In the merge:
  * Added 'commit' to list of pagerless commands.
  * Updated doc/README.dev

See
#bea86499-824e-4e77-b085-2d581fa9ccab/1100c966-9671-4bc6-8b68-6d408a910da1#
for a discussion of why the changes were made and some of the
difficulties en-route.

Use fragment in base command completion + command io fixups.

Updated NEWS and closed #bea/110#

Brought be-handle-mail up to date

Added UserInterface and other improved abstractions for command handling

Better import error messages in test.py

Track connection status to allow multiple Storage.disconnect() calls.

This makes cleaning up UIs easier: just call disconnect() :p.

Removed libbe/ui/base.py.  Basic UI definitions are in libbe/command/base.py.

Emptied interfaces directory

Mostly throwing out a bunch of outdated GUIs.  The email interface
hasn't been moved over to the new 'Command' format yet...

Correct for possible directory changes in mercurial.dispatch.dispatch()

I ran across this when the hg unittests broke the vcs.base unittests:
  $ python test.py libbe.storage.vcs.base libbe.storage.vcs.hg
  ...
  OK
  $ python test.py libbe.storage.vcs.hg libbe.storage.vcs.base
  ...
  File ".../libbe/storage/vcs/base.py", line 914, in libbe.storage.vcs.base.VCSTestCase.Class._u_rel_path
  Failed example:
      vcs._u_rel_path("./a", ".")
  Exception raised:
      Traceback (most recent call last):
        File "/usr/lib/python2.5/doctest.py", line 1228, in __run
          compileflags, 1) in test.globs
        File "<doctest libbe.storage.vcs.base.VCSTestCase.Class._u_rel_path[4]>", line 1, in <module>
          vcs._u_rel_path("./a", ".")
        File ".../libbe/storage/vcs/base.py", line 921, in _u_rel_path
          path = os.path.abspath(path)
        File "/usr/lib/python2.5/posixpath.py", line 403, in abspath
          path = join(os.getcwd(), path)
      OSError: [Errno 2] No such file or directory
  ...
  FAILED (failures=1)

Disable mercurial.demandimport, since it breaks Bzr

Running
  python test.py libbe.storage.vcs.hg libbe.storage.vcs.bzr
with the old setup produced lots of
  Traceback (most recent call last):
    File ".../libbe/storage/vcs/base.py", line 1010, in setUp
      self.s.init()
    File ".../libbe/storage/base.py", line 170, in init
      return self._init()
    File ".../libbe/storage/vcs/base.py", line 664, in _init
      self._vcs_init(self.repo)
    File ".../libbe/storage/vcs/bzr.py", line 88, in _vcs_init
      cmd.run(location=path)
    File ".../python2.5/site-packages/bzrlib/builtins.py", line 1685, in run
      format = bzrdir.format_registry.make_bzrdir('default')
    File ".../python2.5/site-packages/bzrlib/bzrdir.py", line 3452, in make_bzrdir
      return self.get(key)()
    File ".../python2.5/site-packages/bzrlib/bzrdir.py", line 3398, in helper
      bd.set_branch_format(_load(branch_format))
    File ".../python2.5/site-packages/bzrlib/bzrdir.py", line 3385, in _load
      [factory_name])
    File "/var/lib/python-support/python2.5/mercurial/demandimport.py", line 108, in _demandimport
      setattr(mod, x, _demandmod(x, mod.__dict__, locals))
    File ".../python2.5/site-packages/bzrlib/lazy_import.py", line 106, in __getattribute__
      obj = _replace()
    File ".../python2.5/site-packages/bzrlib/lazy_import.py", line 88, in _replace
      extra=e)
  IllegalUseOfScopeReplacer: ScopeReplacer object 'branch' was used incorrectly: Object already cleaned up, did you assign it to another variable?: _factory

Use ._vcs_is_versioned() in VCS._children()

Otherwise Arch will return '.arch-ids' in its list, etc.

Fixed make_*_testcase_subclasses() to avoid duplication.

Also removed final check for 'parent' existence in
  Storage_add_remove_TestCase.test_remove_nonrooted()
because some VCSs (e.g. Git) don't keep track of blank directories.

We don't do much with Mercurial's ui, so _dispatch -> dispatch

Don't chdir() in libbe/command/html.py doctests.

Don't worry about whitespace in `be --help`

Remove libbe.ui.util.cmdutil

All of its functionality has moved off into more focused modules.

Propogate long_to_short_user() -> long_to_short_text() and inverse

I'd missed some calls when I made the changes.

Restored post-colon spaces in doctests

Fixed up the completion helpers in libbe.command.util

This entailed a fairly thorough cleanup of libbe.util.id.

Remaining unimplemented completion helpers:
  * complete_assigned()
  * complete_extra_strings()
Since these would require scanning all (active?) bugs to compile
lists, and I was feeling lazy...

Commented #bea/110/781# on why I'm not supporting Arch.child(revision)

Updated Darcs backend towards supporting .children(revision).

._vcs_isdir() and ._vcs_listdir() will need to parse the output of
  darcs show files [options] --patch REVISION PATH
but both the --patch option and the PATH argument are new, and I can't
get a recent enough version of Darcs to compile on my system.
Theoretically they will work, but they remain untested for now.

I don't think it's worth rolling my own
  darcs show files --patch REVISION
to support earlier versions of Darcs, since the only solution I can
think of now would be to check out the given revision and use
os.walk() or some such, and that would be really ugly...

Also added .version_cmp() for easy version comparison.

Reindented ._vcs_get_file_contents() to remove trailing elses since
the if clauses all contain returns.

Added an additional VCS._u_rel_path() unittest.

Also re-enabled the unitsuite in libbe.storage.vcs.base, which
I'd disabled while testing the VCS unittests.

Added root directory handling to VCS._u_rel_path().

Now it returns '.' when you ask for the relative path from root to
itself.  It used to raise AssertionError or InvalidPath.

Adjust Git._vcs_isdir() to Python-2.5-compatible syntax

Updated Hg backend to support .children(revision).

Hg storage now based off mercurial module, not 'hg' executible.

This should make repeated calls to Hg storage instances _much_ faster,
since we avoid repeatedly loading and tearing down a python subprocess.
For example, the testsuite runs ~6x faster on my box.

Here's a run with the old Hg implementation:
  $ python test.py libbe.storage.vcs.hg
  ...
  =================================
  ERROR: test_get_previous_children
  ---------------------------------
  Traceback (most recent call last):
    ...
  NotImplementedError

  ---------------------------------
  Ran 49 tests in 133.285s

  FAILED (errors=1)

A run with the new implementation gives the same results, except for:
  Ran 49 tests in 22.328s

Adapted BugDir.duplicate_bugdir() to use revision-dependend Storage.children()

Updated Git backend to support .children(revision).

+ some minor fixes to vcs/base.py and vcs/bzr.py

Also removed .be/id-cache, which should never have been versioned in
the first place.

Fixed VCS.children() and Bzr.children() for non-None revisions.

Now they both pass
  VersionedStorage_commit_TestCase.test_commit_revision_ids()

The .children() implementation for previous revisions lacks the
working directory's id<->path cache, so it's fairly slow...

Added VersionedStorage_commit_TestCase.test_commit_revision_ids()

Allow external use of Command.usage() and use CmdOptionParser.set_usage()

This fixes
  $ python be diff -2
  Usage: be [options]

  be: error: no such option: -2
and we now get the correct output
  $ python be diff -2
  Usage: be diff [options] [REVISION]

  be: error: no such option: -2

Restore comment stripping to libbe.ui.util.editor.editor_string()

Bzr storage now based off bzrlib module, not 'bzr' executible.

This should make repeated calls to Bzr storage instances _much_ faster,
since we avoid repeatedly loading and tearing down a python subprocess.