Merge branch 'cfbe'

Add a 1.0 target (/773) and assign a cfbe Unicode bug to it (/275)

cfbe: API: Report each of the targets a bug has

cfbe: API: More shortname -> bug.id.user()

cfbe: API: bd.bug_from_shortname(id) -> bug_comment_from_user_id(bd, id)

cfbe: API: bugdir.root -> bug_root

cfbe: API: bugdir.bug_shortname(bug) -> bug.id.user()

FIXME: More instances here.

cfbe: API: Use bug.severity == target instead of bug.target.  (FIXME)

FIXME:  There are still many more instances of bug.target; I'm just going
through tracebacks one at a time at the moment.

cfbe: Use new storage API

Merge from Trevor.

Merged Chris' tutorial BE server URL update

Merged Darcs fixes

Many markup fixes in doc/

Also added subdir option to generate-libbe-txt.make_module_txt(), in
the hopes that subdir='.' would fix the missing reference errors, but
no luck (although it did reduce them).  I'm sticking with
subdir='libbe' for now to avoid cluttering doc/ with autogenerated
cruft.

Darcs should look in ~/.darcs/author not ~/.darcs/prefs/author

From:
  http://darcs.net/manual/node7.html#env:DARCS_EMAIL

Darcs._vcs_get_user_id() now also checks ~/.darcs/prefs/author|email.

Thanks to Gour for pointing out that it should.

Use 'darcs add --boring' for Darcs > 0.9.10

Change location of be --serve'd bugs URL to bugs.bugseverywhere.org/

Merge with Trevor

Use os.path.join in libbe.storage.util.config.path.

Versus previous hardcoded "~/.bugs_everywhere".

Also improve docstrings for
* libbe.storage.util.config.path
* libbe.ui.util.user.get_user_id

Added -c/--creator to `be new`

Following Gour's suggestion on the mailing list.

Use Sphinx autosummary (required by numpydoc)

Added intersphinx_mapping to doc/conf.py.

See
  http://sphinx.pocoo.org/ext/intersphinx.html#confval-intersphinx_mapping

Set up for running from top-level be dir, i.e.:

% python interfaces/web/cfbe.py

Remove the .be/ copy from inside cfbe dir

Merge Steve Losh's cfbe tree, from:
http://bitbucket.org/sjl/cherryflavoredbugseverywhere/

Merge with Trevor.

Fixed Eric Kow's _darcs/prefs/author bug.

Use _vcs_get_file_contents (vs get_file_contents) in Darcs._vcs_get_user_id

Merged Eric Kow's _darcs/prefs/author bug.

Use getreader (not getwriter) for wrapping stdin

Created bug 592 (_darcs/prefs/author).

Created a bug (wontfix) for Anton Batenev's default-EDITOR comments.

Also fixed a UserError typo in import_xml.py.

Merged Anton Batenev's report of Nicolas Alvarez' unicode-in-be-new bug

Reported bug with utf-8 strings

Fix relative links from bug pages in `be html`.

Introduced by bugs/XXX.html -> bugs/XXX/index.html in
  wking@drexel.edu-20100220181238-j5ecst02y0k9ioo9

Use truncated_id in `be html` comment <div id="">

Fix len(char) assertion typo in libbe.util.utility.underlined()

Added `be html --min-id-length INT` option

Merged Gianluca's truncated-IDs in `be html` output patch.

Or at least merged the general idea.  Changes in the implementation
listed in #bea/01e/2f9#.

Variable lenght of the file name in the be html command.

Fixed a bug in the be html command.

  File "/usr/lib/python2.5/site-packages/libbe/command/html.py", line 371, in _escape
    return xml.sax.saxutils.escape(char)
NameError: global name 'char' is not defined

Merged Gianluca's fix of my version of Eric's patch ;)

Merged Trevor's tree

Merged Eric Kow's HTML escaping patch

Merged initial Sphinx documentation structure.

There's still a long way to go in this direction, but the basic
framework is now in place.  Toss in numpydoc-style docstrings
  http://projects.scipy.org/numpy/wiki/CodingStyleGuidelines
when you have time, and things will gradually improve over time.

I also punted our user ID creation/parsing in libbe.ui.util.user to
the email module.  This way IDs are handled in an RFC-compliant way
(less suprising for users) and by someone else (less work for us :).

Consolidated Makefile and doc/man/module.mk.  Incorperated doc/Makefile.

Now
  make sphinx
builds the Sphinx HTML documentation (in doc/.build/html), and
  make clean
cleans up everything.

Having a separate module.mk was just making things confusing, so I
took it out ;).

Fixed docstrings so only Sphinx errors are "autosummary" and "missing attribute"

Use email.utils.formataddr/parseaddr to generate/parse user IDs

Use numpydoc and generate-libbe-txt.py to autogenerate API documentation

Added bugdir and comment modules to Sphinx docs

Added libbe.bug to the Sphinx documentation

Broke out install.txt + reStructuredText markup fixes

Added page titles to the documentation & adjusted section levels.

Sphynx now gets version string automatically.

Moved manpage source doc/src to doc/man

Created Sphinx framework with sphinx-quickstart and added .txt extensiosns

Avoid double-escaping in 'be html'.

Use ${HOME}/.local as default prefix.
This is apparently a new standard.

Sort comments in `be html`.

Fix be-xml-to-mbox handling of non-text/* content types

Restore "content_type" kwarg to Comment.new_reply().

It had been removed in
    revno: 473.1.43
    committer: W. Trevor King <wking@drexel.edu>
    branch nick: be.restructure
    timestamp: Mon 2009-12-14 07:37:51 -0500
    message:
      Transitioned comment to Command format
when we pushed unicode encoding/decoding back to the Storage backend.

However, with the addition of libbe.util.id.short_to_long_text(),
we need it again.

Also add a Doctest showing a non-text/* comment, so utilities dealing
with them can see what they'll be working with.

Made Bzr/Darcs.version_cmp() more robust in response to Chris' email.

From: Chris Ball <cjb@laptop.org>
Subject: Test suite status

...
I ran the wking@drexel.edu-20100130162439-pmh5tg6kuq92x3l5 testsuite
on Fedora 13/Rawhide.  Had to downgrade Mercurial (bzr-hg doesn't
support 1.4.2 yet) and bzr (my Fedora package contained a "b4" in the
version string, which breaks libbe/storage/vcs/bzr.py:version_cmp()).
...

Fixed Chris' "zero name length for Mercurial w/o ~/.hgrc" bug.

From: Chris Ball <cjb@laptop.org>
Subject: Test suite status
Date: Mon, 01 Feb 2010 11:27:53 -0500
Message-id: <m38wbcor92.fsf@pullcord.laptop.org>

...

I hit the "assert len(name) > 0" in libbe/ui/util/libbe.py, coming from
hg.py when running with no ~/.hgrc.  Fixed by the following patch:

=== modified file 'libbe/storage/vcs/hg.py'
--- libbe/storage/vcs/hg.py     2010-01-21 17:45:49 +0000
+++ libbe/storage/vcs/hg.py     2010-02-01 16:17:03 +0000
@@ -87,7 +87,14 @@
         return tmp_stdout.getvalue().rstrip('\n')

     def _vcs_get_user_id(self):
-        return self._u_invoke_client('showconfig', 'ui.username')
+        output = self._u_invoke_client('showconfig', 'ui.username')
+        if output != "":
+            return output.rstrip('\n')
+        else:
+            # guess missing info
+            name = libbe.ui.util.user.get_fallback_username()
+            email = libbe.ui.util.user.get_fallback_email()
+            return libbe.ui.util.user.create_user_id(name, email)

     def _vcs_detect(self, path):
         """Detect whether a directory is revision-controlled using Mercurial"""

Fix command name output of `be --complete`.

By adding command_names option to libbe.command.commands.  Previous
versions of `be --complete` printed "import_xml", not "import-xml".

Also fixed libbe.command.base's doctests, so test.py can run them.

Clearer UnicodeDecodeError message in command_line.dispatch().

See #bea/e30# ("Where should the vcs-name and encoding configuration
options live?")  for details.

libbe.command.html.HTMLGen._long_to_linked_user() handles failed conversion.

Before, anything matching libbe.util.id.REGEXP was convert-or-die.
Now it's convert-or-no-op.  Much safer ;).  The new
_long_to_linked_user doctest would have failed with the old
implementation.

Always load settings when initializing BugDir from storage.

Avoids problems like:

$ be html
Traceback (most recent call last):
  File "be", line 21, in <module>
    sys.exit(libbe.ui.command_line.main())
  File ".../libbe/ui/command_line.py", line 327, in main
    ret = dispatch(ui, command, args)
  File ".../libbe/ui/command_line.py", line 267, in dispatch
    ret = ui.run(command, options, args)
  File ".../libbe/command/base.py", line 504, in run
    return command.run(options, args)
  File ".../libbe/command/base.py", line 233, in run
    self.status = self._run(**params)
  File ".../libbe/command/html.py", line 111, in _run
    html_gen.run(params['output'])
  File ".../libbe/command/html.py", line 154, in run
    bugs.sort()
  File ".../libbe/bug.py", line 261, in __cmp__
    return cmp_full(self, other)
  File ".../libbe/bug.py", line 818, in __call__
    val = comparison(bug_1, bug_2)
  File ".../libbe/bug.py", line 750, in cmp_status
    return cmp(status_index[bug_1.status], status_index[bug_2.status])
  File ".../libbe/storage/util/properties.py", line 223,
in _fget
    raise ValueCheckError(name, value, value_allowed_fn)
libbe.storage.util.properties.ValueCheckError: open-feature not allowed by <function <lambda> at 0x84b610c> for status

Fix `be show` handling for no IDs

Add version information to test.py stderr for easier error reproduction

Fix editor spawning on null-string EDITOR and VISUAL.

  $ EDITOR= VISUAL= python -c 'import os; import sys; print os.environ'
  {..., 'EDITOR': '', ..., 'VISUAL': '', ...}

Merged some new bugs and be-xml-to-mbox extra_strings fix

Added #bea/169# : Generating per-bugdir/bug/comment change logs

Removed taglines other cruft from #bea/d99# comments

Fix "extra_strings" -> "extra-strings" typos in be-xml-to-mbox

Add some workarounds for older bzrlibs.  Tested on 1.3.1

Work around "bzr ls --non-recursive PATH : no list" bug in old bzrlib.

See: https://bugs.launchpad.net/bzr/+bug/158690

Bug affected versions:
  0.90.0 (reported)
  1.3.1  (my test suite hit it)
Doesn't affect versions:
  2.0+   (non_recursive -> recursive)
But I haven't isolated the source more specifically.

Working around it for everything < 2.0 should be safe, but the cutoff
could be fine-tuned if someone wants to dig through the bzr.dev
history...

Fix bzrlib.builtins.cmd_cat() output for pre 1.6.0 bzrlibs.

Fixed in bzr.dev
  revno: 3341.2.1
  revision-id: bialix@ukr.net-20080407074826-5lwuyv4dn1qlijg4
  parent: pqm@pqm.ubuntu.com-20080407044456-s1a9orh0kssphdh9
  committer: Alexander Belchenko <bialix@ukr.net>
  branch nick: cmd-cat
  timestamp: Mon 2008-04-07 10:48:26 +0300
  message: `bzr cat` no more internally used Tree.print_file().
Merged into bzr.dev's trunk
  revno: 3512 [merge]
  revision-id: pqm@pqm.ubuntu.com-20080626004245-dnw85so4xqg8r9hy
  parent: pqm@pqm.ubuntu.com-20080625230724-lyux37pu8nx8tq34
  parent: aaron@aaronbentley.com-20080626001706-wo3w74fwgliy12s4
  committer: Canonical.com Patch Queue Manager <pqm@pqm.ubuntu.com>
  branch nick: +trunk
  timestamp: Thu 2008-06-26 01:42:45 +0100
  message: (bialix) Deprectate (Branch|Repository).print_file, fix cmd_cat

Before bzr branch 1.6
  bzr.dev$ bzr tags
  ...
  bzr-1.5rc1           3418.6.3
  bzr-1.6              3606.5.9
  ...

Fixes:

python test.py -q libbe.storage.vcs.bzr
...............................FSome value:1E..
======================================================================
ERROR: Get should be able to return the previous version.
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/home/wking/src/fun/be/be.wtk/libbe/storage/base.py", line 976, in test_
get_previous_version
    ret = self.s.get(self.id, revision=revs[i])
  File "/home/wking/src/fun/be/be.wtk/libbe/storage/base.py", line 335, in get
    value = self._get(*args, **kwargs)
  File "/home/wking/src/fun/be/be.wtk/libbe/storage/vcs/base.py", line 849, in _
get
    raise InvalidID(id, revision)
InvalidID: unlikely id in revision 1
...

Fix bzrlib.builtins.cmd_ls() recursion argument for pre 2.0 bzrlibs.

$ python test.py libbe.storage.vcs.bzr
...
======================================================================
ERROR: Children list should be revision dependent.
----------------------------------------------------------------------
Traceback (most recent call last):
  File ".../libbe/storage/base.py", line 997, in test_
get_previous_children
    ret = sorted(self.s.children('parent', revision=revs[i]))
  File ".../libbe/storage/base.py", line 314, in child
ren
    return self._children(*args, **kwargs)
  File ".../libbe/storage/vcs/base.py", line 811, in _
children
    path = self.path(id, revision, relpath=False)
  File ".../libbe/storage/vcs/base.py", line 716, in p
ath
    path = self._vcs_path(id, revision)
  File ".../libbe/storage/vcs/bzr.py", line 145, in _v
cs_path
    self.repo, revision=revision, recursive=True)
  File ".../libbe/storage/vcs/bzr.py", line 163, in _v
cs_listdir
    cmd.run(revision=revision, path=path, recursive=recursive)
  File "/usr/lib/python2.5/site-packages/bzrlib/commands.py", line 800, in ignor
e_pipe
    result = func(*args, **kwargs)
TypeError: run() got an unexpected keyword argument 'recursive'
...

The change is due to (in bzr.dev):

revno: 4206.2.1
revision-id: ian.clatworthy@canonical.com-20090326133831-orvicmmc6w29mpfp
parent: pqm@pqm.ubuntu.com-20090326063330-evutyvml3067dpsz
committer: Ian Clatworthy <ian.clatworthy@canonical.com>
branch nick: bzr.ls-recursive-off
timestamp: Thu 2009-03-26 23:38:31 +1000
message: ls should be non-recursive by default

Which occured between bzr-1.9rc1 and 2.0rc1.:

bzr.dev$ bzr tags
2.0rc1               4634.9.1
...
bzr-1.9rc1           3815.3.1
bzr-2.0.1            4634.73.2
...

Merged with be.wtk trunk

Oops, fix Comment doctest EDITOR cleanup

Add #bea/9c2# : Can comment punt functionality to email.Message?

Don't accidentally spawn VISUAL in Comment doctests.

Implement Arch._vcs_path()

Fixes VersionedStorage_commit_TestCase.test_get_previous_children.
Should have fixed
  VersionedStorage_commit_TestCase.test_get_previous_version
too, but 'tla file-find' is buggy:
  https://bugs.launchpad.net/ubuntu/+source/tla/+bug/513472

Also:
  * sort children in test_get_previous_children, since we shouldn't
    require a particular child order
  * unescape filenames in Arch._diff()
  * remove debugging prints from Arch._parse_diff()
  * remove silly blank line in git.py I'd stumbled across ;).

Implement Arch._vcs_changed().

Fixes VersionedStorage_changed_TestCase.test_changed failure.

Fix StorageTestCase.classname -> ._classname()

Introduced in
  wking@drexel.edu-20100127152727-nu58o4g6jea5or7w

`be html` links (<a href="...) #-delimited references in text/* bodies.

Merged clarifications requested by Ben Finney

Make VCS error messages and Storage test failures more descriptive

Merged be.auth, adding "--auth" to `be serve`

Add --help, --quiet options to test.py.

Fixes Ben's "unintuitive test.py interface" bug:

Date: Wed, 27 Jan 2010 14:09:14 +1100
From: Ben Finney
Subject: [Be-devel] Re: Test suite on Trevor's development branch
...
> $ python ./test.py -q
>
> ----------------------------------------------------------------------
> Ran 0 tests in 0.000s
>
> OK

Running a Python unittest-capable test suite with "-q" should run it in
"quiet" mode, where progress is indicated by single characters along a
lone, and only failures and errors are reported.
...

Encourage a run of `make` to build auto-generated files.

Fixes Ben's "unintuitive test procedure" bug:

Date: Wed, 27 Jan 2010 14:09:14 +1100
From: Ben Finney
Subject: [Be-devel] Re: Test suite on Trevor's development branch
...
> $ python ./test.py
> Traceback (most recent call last):
[...]
> ImportError: No module named _version

So it's not possible to simply get a copy of the branch and try running
the test suite.
...

Streamlined libbe.command.serve, adding --auth option, #/bea/c1b#, and testing.

Added --ssl to `be serve` using cherrypy.wsgiserver.

Convert libbe.command.serve to WSGI for increased flexibility.

The Python Web Server Gateway Interface (WSGI) is a simple and
universal interface between web servers and web applications or
frameworks.  See PEP 333 for details.
  http://www.python.org/dev/peps/pep-0333/

Rework fix for #bea/8fc# : be crashes on outdated id-cache

Now we re-run CachedPathID.init in an 'append' mode, rather than
starting over from scratch.  This avoids problems like

  ======================================================================
  ERROR: Should not be able to add children to non-directories.
  ----------------------------------------------------------------------
  Traceback (most recent call last):
    File ".../be.wtk/libbe/storage/base.py", line 680, in test_add_invalid_directory
      self.s.add('child', 'parent', directory=False)
    File ".../be.wtk/libbe/storage/base.py", line 248, in add
      self._add(id, *args, **kwargs)
    File ".../be.wtk/libbe/storage/vcs/base.py", line 737, in _add
      path = self._cached_path_id.add_id(id, parent)
    File ".../be.wtk/libbe/storage/vcs/base.py", line 267, in add_id
      parent_path = self.path(parent, relpath=True)
    File ".../be.wtk/libbe/storage/vcs/base.py", line 246, in path
      raise InvalidID(uuid)
  InvalidID: parent in revision None

and similar.

Don't print 'Multiple paths' message on cache regen

Fixed #bea/8fc# : be crashes on outdated id-cache

Also explicitly avoid loading or saving settings for root comments.

Added bug #bea/8fc# : be crashes on outdated id-cache

Merged be.doc documentation rewrite + bugfixes + new bugs

Highlights:
  * Fix broken Diff.comment_body_change_string implementation.
  * Fix List --severity handling, added --important
  * Fix `be target --help`
  * Fix non-text/plain `be comment` code and added 'Created
    comment...' output

Rewrote documentation