becommands.target.bug_target(TARGET-BUG) now returns TARGET-BUG

Merged be.target-as-bug

Highlights:
 * targets are now a special type of bug (severity 'target'), so you
   can do all the things you do with normal bugs to them as well
   (e.g. comment on them, link them into dependency trees, etc.)
 * new command `be due` to get/set bug due dates.
 * changes to `be depend`
   * added options --status, --severity
 * changes to `be list`
   * added blacklist capability to --status, --severity, --assigned
   * removed options --target, --cur-target
   Replace:
     'be list --target TARGET' with
     'be depend --status -closed,fixed,wontfix --severity -target \
        $(be target --resolve TARGET)'
     'be list --cur-target' with
     'be depend --status -closed,fixed,wontfix --severity -target \
        $(be target --resolve)'
 * changes to `be target`
   * added option --resolve
   * removed option --list
   Replace:
     'be target --list' with 'be list --status all --severity target'
 * new function cmdutil.select_values() for whitelist/blacklist selection.
 * assorted cleanups and bugfixes

Marked as fixed 22b: Sorting targets chronologically

Updated NEWS.

Updated becommands/due.py copyright.

Added becommands/due.py to manage bug due dates.

This fulfills the following part of 22b:7

  * "due_by"

  We could add "due-by" to Bug.extra_strings as well, so that anyone
  could set due dates for any issue they wanted.

Currently there's not much going on, but perhaps other people will
have ideas for useful extensions.  Maybe
  be due --sort BUG-ID [BUG-ID ...]
or
  be --due-in-days 7

`be target` gains --resolve and loses --list.

`be target` now works with bug-style targets.

Docstring clarification in becommands.depend.get_blocked_by()

Removed target stuff from becommands/list.py and tweaked options.

Now --status, --severity, and --assigned all use
cmdutil.select_values() for nice whitelist/blacklist selection.

Moved becommands.depend._allowed_values() to cmdutil.select_values()

I like this code, and I want to use it for other places, e.g.
`be list`.

Also renamed depend options
  --limit-severity and --limit-status
to
  --severity and --status

Removed Bugs-Everywhere-Web/server.log from version control

Removed Bug.target reference from interfaces/xml/be-xml-to-mbox.

Remove Bug.target references from several becommands (all but target.py).

Added --limit-status and --limit-severity to `be depend'.

Currently only effective in tree mode, but that's where it matters
most.

Added retroactive dependencies between the legacy targets.

bug uuid                              created    resolved   target
ee681951-f254-43d3-a53a-1b36ae415d5c  revno: 45  revno: 51  patch-52
f51dc5a7-37b7-4ce1-859a-b7cb58be6494  revno: 41  revno: 41  0.1
f5c06914-dc64-4658-8ec7-32a026a53f55  revno: 45  revno: 93  0.2

reasonable target blockage:
  0.1 ------------| 0.2
     `-| patch-52 --|

Here are the old targets
  $ be list --severity target --status all
  4fc:ct: patch-52
  47c:ft: 0.1
  bd0:ft: 0.2
And here is the implemented dependency tree
  $ be depend -t -1 bd0
  bd0ebb56-fb46-45bc-af08-1e4a94e8ef3c blocked by:
   47c:ft: 0.1
    f51:ff: Can't create bugs
   4fc:ct: patch-52
    47c:ft: 0.1
     f51:ff: Can't create bugs
    ee6:cm: Support rcs configuration
   f5c:fm: Implement bug tree diff

Remove some more Bug.target references from libbe/bug.py

Updated the new target bugs' status to match blockers

Upgraded to Bugs Everywhere Directory v1.3

Added "Bugs Everywhere Directory v1.3" which transitions to bug-type targets.

See bug 22b6f620-d2f7-42a5-a02e-145733a4e366 for the motivation.  This
upgrade will replace all "target" settings.  The new BugDir target
setting will be the uuid of the appropriate target.  The Bug target
setting is removed, replaced by an extra_strings BLOCKS tag blocking
the appropriate target.  New target bugs are created on the fly as
required.

This addresses the following portion of 22b:7:

  * Targeting normal bugs

  With "be depend".  I think we should remove the "target" field from
  bugs, and move target dependencies over into the "be depend"
  framework.

  * be target list

  Would become "be list --severity target".  A target "severity" would
  keep target bugs distinct from other bug/issue types.

Fixed shortname -> bugname in becommands/show.py.

Fixes
  wking@thor:be.target-as-bug$ be show 22b:7
  Traceback (most recent call last):
    File "/home/wking/bin/be", line 65, in <module>
      sys.exit(cmdutil.execute(args[0], args[1:]))
    File "/home/wking/src/fun/be/be.target-as-bug/libbe/cmdutil.py", line 87, in execute
      restrict_file_access=restrict_file_access)
    File "/home/wking/src/fun/be/be.target-as-bug/becommands/show.py", line 82, in execute
      print output(args, bd, as_xml=options.XML, with_comments=options.comments)
    File "/home/wking/src/fun/be/be.target-as-bug/becommands/show.py", line 174, in output
      lines.append(comment.string(shortname=shortname))
  NameError: global name 'shortname' is not defined

Commented on 12c: Bug aggregation.  Multi-repo meta-BE?

Adjusted be-mbox-to-xml to not drop author info from multipart messages

Added missing author entries to some comments + cleanups.

Fix libbe.diff.Diff._changed_bugs() to handle subscriptions by bug shortname.

Cleanup Dir in becommands/init.py doctest.

Merged be.diff-subscribe

Highlights:
 * changes to `be diff`
   * exits with an error if required revision control is not possible.
     Previously it printed a message, but exitted with status 0.
   * removed options --new, --removed, --modified, --all
   * added options --uuids, --subscribe
 * New method diff.Diff.full_report() allows fast generation of
   similar report_tree()s via diff.DiffTree.masked.
 * New method diff.subscriptions_from_string() for consistent
   subscription string parsing.
 * clean up be-handle-mail.Message.subscriber_emails() with
   diff.Diff.report_tree(subscriptions)
 * hardcoded 'DIR' replaced with diff.BUGDIR_ID
 * assorted cleanups and bugfixes

Updated NEWS

Adjust libbe.diff.DiffTree to fix failed doctest.

======================================================================
FAIL: Doctest: libbe.diff.DiffTree
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/usr/lib/python2.5/doctest.py", line 2128, in runTest
    raise self.failureException(self.format_failure(new.getvalue()))
AssertionError: Failed doctest test for libbe.diff.DiffTree
  File "/home/wking/src/fun/be/be.diff-subscribe/libbe/diff.py", line 136, in DiffTree

----------------------------------------------------------------------
File "/home/wking/src/fun/be/be.diff-subscribe/libbe/diff.py", line 172, in libbe.diff.DiffTree
Failed example:
    print bugdir.report_string()
Exception raised:
    Traceback (most recent call last):
      File "/usr/lib/python2.5/doctest.py", line 1228, in __run
        compileflags, 1) in test.globs
      File "<doctest libbe.diff.DiffTree[18]>", line 1, in <module>
        print bugdir.report_string()
      File "/home/wking/src/fun/be/be.diff-subscribe/libbe/diff.py", line 213, in report_string
        return "\n".join(self.report())
    TypeError

Use new libbe.diff.Diff.report_tree(subscriptions) in be-handle-mail.

This makes Message.subscriber_emails() much cleaner.

Also fix libbe.diff.Diff._sub_report() to handle missing
'bugdir/settings'.

Added libbe.diff.SubscriptionType.__cmp__ so that
  SubscriptionType('all') == SubscriptionType('all')
This is important when comparing the types returned by
  becommands.subscribe.get_bugdir_subscribers()
with the libbe.diff.*_TYPE_* types.

Added libbe.diff.Diff.full_report() for speed with several subscription lists.

Now report_tree() returns an appropriately .masked version of the
cached full report, which is much faster than recomputing a new diff
tree from scratch.

Also fixed bug in libbe.diff.DiffTree.report() where
.requires_children=True was exposing nodes with children, when it
should (and now does) only expose nodes with _unmasked_ children.

More 'DIR'->diff.BUGDIR_ID updates

Created diff.subscriptions_from_string()

Added --subscribe option to `be diff`

Added BUGDIR_TYPE_MOD and BUGDIR_TYPE_REM to libbe.diff.

Now you can subscribe to only hear about modified bugs or only about
removed bugs.  Kindof odd for a general subscription, but possibly
useful as an argument to the upcoming `be diff --subscribe`, e.g.
  be diff --subscribe DIR:mod
which would replace the old
  be diff --modified

Adjusted diff.Subscription.__init__() to guess type_root if required.

Added subscriptions option to diff.Diff.report_tree().

Also added diff.BUGDIR_ID to avoid lots of magic 'DIR' definitions,
and added diff.Subscription class to make the old (id, type) tuples a
bit more elegant.

Moved subscription types from becommands/subscribe.py to libbe/diff.py.

Replaced `be diff` options --new, --removed, --modified, and --all with --uuids.

We'll be adding a --subscribe option which will select the
bugs/changes we're interested in, which deprecates the selection
portion of the old options.  The new --uuids just selects the "bug
uuid" output over the default "change summary" output.

Set boolean options default to False in becommands/list.py

Otherwise they default to None.  It doesn't matter at the moment,
since all the comparisons seem to be
  if options.XYZ == True:
but this protects against confusion in the future if someone tries
  if options.XYZ == False:

`be diff` raises UsageError if required revision control not possible.

It had previously printed an message and exitted without error.

Fix cmdutil.help() calls in be to use args not sys.argv.

sys.argv won't work if there are any options in the be call, e.g.
  be -d DIR diff

Add __eq__ and __ne__ methods to Tree.

This fixes a bug introduced by
  revision-id: wking@drexel.edu-20091205034412-8apqxq8zqim48tf7
  committer: W. Trevor King <wking@drexel.edu>
  timestamp: Fri 2009-12-04 22:44:12 -0500
  message:
    Use __cmp__ instead of __eq__ for Tree comparison.

When I made that commit, I'd forgotten that Tree inherits an __eq__
method from list, so it won't fall back to the __cmp__ method to
determine equality.  The new __eq__ and __ne__ methods use __cmp__
internally, so further subclasses (e.g. Comment) only need to override
__cmp__.  Of course, list also defines __ge__, __gt__, __le__, __lt__,
... which I don't bother with, so stay away from TreeA > TreeB and the
like.

Merged `be diff --dir DIR` functionality

Updated NEWS

Updated NEWS

Added --dir option to `be diff'.

Now you can compare two repositories:
  be -d branchA diff -d branchB
or
  branchA$ be diff -d ../branchB
which is helpful for VCSs like bzr that lack cross-branch revid
visibility.  Git users can still use
  branchA$ be diff REVID
where REVID is a commit from any branch in the repo.

This new functionality acts like a BE counterpart to `bzr missing DIR'.

Fixed removed comment listing in libbe/diff.py.

Previous implementation guaranteed to raise KeyErrors, because new bug
doesn't contain the uuid.

Use __cmp__ instead of __eq__ for Tree comparison.

This ensures that __ne__ will also work, and makes it easier to
subclass Tree.  For example, in the previous implementation you could
have
  >>> commA == commB
  False
  >>> cmp(commA, commB)
  0
if the comments had different ids, but equivalent content.

At the user-interface level, this removes some false "modified
comments" from `be diff`.

Don't necessarily initialize a new VCS in BugDir.load_settings().

We may already have the right type, in which case, don't mess with it.
This speeds up bugdir loading a bit more:
  $ time be list > /dev/null

  real    0m1.245s
  user    0m1.116s
  sys     0m0.124s

Don't get VCS version in VCS.__init__().

Often, this just causes a slow subprocess.Popen() call to
get information we woln't even look at.

Old benchmark:
  $ time be list > /dev/null

  real    0m2.369s
  user    0m1.980s
  sys     0m0.388s
New benchmark:
  $ time be list > /dev/null

  real    0m1.472s
  user    0m1.304s
  sys     0m0.164s

Added libbe.TESTING (defaults to False).

This flag allows us to skip unittest and testsuite declaration if we
woln't need them.  It speeds up simple be calls a suprising amount.
With Testing=True (the old behavior):
  wking@thor:be.wtk$ time ./be > /dev/null

  real    0m0.393s
  user    0m0.340s
  sys     0m0.048s
With TESTING=False (the new behavior):
  be.wtk$ time ./be > /dev/null

  real    0m0.216s
  user    0m0.152s
  sys     0m0.064s

This adjustment was inspired by Jakub Wilk's Debian bug:
  http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=559295

Added copyright blurbs to __init__.py files.

Remove _test() functions from plugin.py and cmdutil.py.

Testing should be handled through test.py, not by calling per-module
_test() functions.

Merged completed be.email-bugs branch.

Highlights:
  * import-xml now works as advertized in its longhelp string
  * new methods Bug.merge() and Comment.merge()
  * comment.list_to_root() is now Bug.add_comments()
  * BugDir.list_uuids() is now BugDir.uuids()
  * Bug.from_xml() now imports comments :p
  * test.py uses unittest.TestSuite 'suite' in becommands, if present.

Mark bug 565 as fixed: be email-bugs for bug submission from bzr-less users

be-handle-mail uses more conservative --add-only for be-bugs:xml

Generalized doctest string in subproc.py

Added some thoughts on import_xml merge algorithms

Fixed import_xml.py to live up to its longhelp description.

Also added LonghelpTestCase to prove it.

Avoid redundant Comment.alt_ids

Changed Bug and Comment.merge() kwargs.

The old allow_changes and allow_new_comments didn't have separate
handling for extra_strings, like import_xml will need.  It also didn't
have a way to specify what to do if an illegal change occurs.
Sometimes you'll want to raise an exception, but sometimes you'll want
to ?silently? ignore the change.

Minor BugDir docstring typo correction.

Moved comment.list_to_root() to Bug.add_comments() with some cleanups.

This makes Bug.add_comment simpler.  Also makes Bug.from_xml() more
robust, since it no longer depends on the order in which the XML file
lists the comments.  The previous Bug.from_xml() would have choked on
  <be-xml>
    <bug>
      <comment>
        <uuid>B</uuid>
        <in-reply-to>A</in-reply-to>
      </comment>
      <comment>
        <uuid>A</uuid>
      </comment>
    </bug>
  </be-xml>
because when B was being added, the referenced A hadn't yet been
noticed.

Added comment import to Bug.from_xml().

This is a pretty critical feature, dunno how I missed it before.

I also added a little check to both Bug and Comment.from_xml() so that
xml_string can take an ElementTree Element as well as the usual raw
string/unicode.  This avoids repeated string <-> Element conversions.

Added Bug.add_comment() which handles the addition of a Comment
instance, matching .in_reply_to, checking .uuid uniqueness, etc.

test.py now uses unittest.TestSuite 'suite' in becommands if present.

Such 'suite' instances have been required for libbe submodules.  This
will allow becommands to test themselves more thoroughly than they
could with only doctests.

BugDir.list_uuids() -> BugDir.uuids()

Added Bug.merge() and Comment.merge().

Added *.explicit_attrs list creation to Bug and Comment.from_xml().

Added match_alt_id keyword argumennt to .comment_from_uuid().

Removed extra enline following '</extra-string>' tag in Bug and
Comment.xml().

Added restrict_file_access to becommands' execute() args.

+ associated adjustments in other files.

See cmdutil.restrict_file_access.__doc__ for an explanation of the
security hole this closes.

Merged mostly completed `be email-bugs'.

Highlights:
 * new be commands 'email-bugs' and 'import-xml'
 * standardized <be-xml> format for XML files.
 * new be-handle-mail interface '[be-bug:xml]'
 * restrict_file_access security patch
 * new subprocess handling submodule libbe.subproc
 * test.py adjusted to use an installed VCS for most tests.
 * assorted bugfixes

Altered interfaces to the following be commands:
 * comment --xml     tag gone, use import-xml.
 * show --xml        xml format updated to <be-xml> format.

Also adjusted be-mbox-to-xml and be-xml-to-mbox to handle new <be-xml>
format and provide better handling of *.extra_strings.

Fix libbe.vcs.VCS.get_file_contents(allow_no_vcs=True,binary=True).

In it's previous form it had ignored the binary option if
self._use_vcs() returned False.

Also added a few more details to the docstring, explaining the
arguments.

Updated interfaces/email/interactive/README for [be-bug:xml] interface

Added [be-tag:xml] processing to be-handle-mail.

Now it will automatically apply and commit emails from
  be email-bugs ...

Adjusted `be import-xml` to properly handle croot_bug==None.

If there aren't any root comments, then the user needn't specify
--comment-root, in which case croot_bug will be None and we want to
skip all the croot processing.

Fixed bug in be-handle-mail.Message.parse_comment() for emails w/o Message-id.

You used to get:

Uncaught exception:
'NoneType' object has no attribute 'decode'
  File "./be-handle-mail", line 857, in main
    m.run()
  File "./be-handle-mail", line 591, in run
    command.run()
  File "./be-handle-mail", line 244, in run
    manipulate_encodings=False)
  File "/tmp/be.email-bugs/interfaces/email/interactive/libbe/cmdutil.py", line 82, in execute
    ret = cmd.execute([a.decode(enc) for a in args],

A `print args' in Message.parse_comment() revealed
  [..., u'--alt-id', None,...]

Added interfaces/email/interactive/examples/email_bugs

For testing the new [be-bug:xml] interface we're about to write.

`be email-bugs` now uses `be show` internals to produce consistent XML.

Broke the bulk of show.py out into new function show.output(), which
is used by both show.py and email_bugs.py to reduce duplication of
effort and increase consistency of the XML.

Also a few relevant help string updates.

Upgraded `be show --xml` to new <be-xml> format.

Broke `be comment --xml` out and extended into `be import-xml`.

It should currently do everything that `be comment --xml` did, but it
still has a way to go before it lives up to it's longhelp string,
mostly figuring out bug/comment merging.

The allowed XML format also changed a bit, becoming a bit more
structured.

cmdutil.bug_from_shortname() renamed to cmdutil.bug_from_id().

New functions cmdutil.parse_id() and cmdutil.bug_comment_from_id().

Additional doctests in libbe.comment.Comment.comment_shortnames() to
show example output if bug_shortname==None.

Brought be-xml-to-mbox and be-mbox-to-xml up to speed on the current
<be-xml>-rooted format.
  * Added <extra-string> handling to their comment handling.
  * Moved extra strings from email bodies to X-Extra-String headers
    (some comment bodies are not text, and we should keep the estr
    location consistent between bugs and comments.)

Added Bug.from_xml() + some .from_xml() fixups.

Moved comment.InvalidXML to utility.InvalidXML, so that bug and
comment can share it.  Added docstring explaining the __init__
arguments.

Added indent and shortname options to Bug.xml() to match
Comment.xml().

Added .extra_strings export to Comment.xml().

Converted Bug.xml() from string addition to list joining, which avoids
a bunch of memory allocation/deallocation.

Assorted " -> ' replacements.

Elaborated doctests to check UTF-8, extra_strings, ...

Added new comparison cmp_extra_strings for both bug. and
comment.DEFAULT_CMP_FULL_CMP_LIST.

Import os in libbe.subproc if _POSIX == True

Fixed bug 529c290e-b1cf-4800-be7e-68f1ecb9565c (howto version BE).

Also appended some of the recent discussion about releases to the
comment list.

Fix typo in becommands.init's doctest

Import select in libbe.subproc if _POSIX == True

Adjusted test.py to use an installed vcs by default.

Protects agaist the off chance that the user doesn't have Arch (tla)
installed ;).

Changed Arch.name from "Arch" to "arch" so that each VCSs .name
matches the module name.  This allows us to use vcs.VCS_ORDER (a list
of module names) to set up the allowed values of BugDir.vcs_name.

Added becommands/email_bugs.py

This send a list of bugs in a single email off to be processed by
be-handle-mail.  Of course, be-handle-mail doesn't yet handle the
[be-bug:xml] format that email_bugs.py creates.  On to that now...

Broke subprocess handling out into its own submodule libbe.subproc.

Removed superfluous 'import time' from becommands/commit.py doctest.

Created bug 56506b73-36cc-4e32-a578-258a219edba8 describing problem

Have release.py update copyrights as well.

Added release.py script automating release process

Merged updated READMEs and new update_copyright.py (and its results).

Ran the new update_copyright.py

Translated update_copyright.sh to Python update_copyright.py

Updated README and Bugs-Everywhere-Web/README.

Updated NEWS file

Fixed bug with unicode handling reported by Nicolas Alvarez.

Date: Mon, 16 Nov 2009 20:34:50 -0300
From: Nicolas Alvarez <nicolas.alvarez@gmail.com>
Subject: [Be-devel] Mercurial + BE + Unicode doesn't work

My username in ~/.hgrc contains a Unicode character. When I run "be new" on
a Mercurial repository, I get an unhandled Python exception:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 13:
ordinal not in range(128)

The following shell script should reproduce the error:

#!/bin/sh

repo=/tmp/`mktemp -d bug-repro.XXXX`
hg init $repo
cd $repo
/usr/bin/printf "[ui]\nusername = Nicol\u00e1s\n" > $repo/.hg/hgrc
be set-root $repo
be new "Testing"
rm -rf /tmp/$repo

[WTK:
Note that the
  be set-root
usage is out of date, it is now
  be init
]

Use unicode_output=False in some Darcs._u_invoke_client() calls.

This avoids the following error:
  ======================================================================
  ERROR: Should get file contents as committed to specified revision.
  ----------------------------------------------------------------------
  Traceback (most recent call last):
    File ".../libbe/vcs.py", line 860, in test_revision_file_contents_as_committed
      full_path, revision)
    File ".../libbe/vcs.py", line 339, in get_file_contents
      contents = self._vcs_get_file_contents(relpath,revision,binary=binary)
    File ".../libbe/darcs.py", line 122, in _vcs_get_file_contents
      status,output,error = self._u_invoke(args, stdin=major_patch)
    File ".../libbe/vcs.py", line 488, in _u_invoke
      raise CommandError(args, status, stdout, stderr)
  CommandError: Command failed (2):
    patch: **** Only garbage was found in the patch input.

  while executing
    ['patch', '--reverse', 'a/text']

After adding the unicode_output=False lines, I adjusted the
VCS._u_invoke_client() definition to pass all it's kwargs
automatically through to VCS._u_invoke().  To make this simpler and
more consistent, I renamed the "directory" option to "cwd", and
adjusted *._u_invoke() calls appropriately in several VCS backends.

Cleanup temp. dir. in libbe.vcs tests.

"CommandStderr" -> "CommandError" in VCS._u_invoke()

Corrects a mistake from using string replace to move output,error ->
stdout,stderr a few commits ago.