Merged libbe.properties unittest fix

libbe.properties unittest changes due to "extra change-hook save" fix.

Missed these earlier.

I imported a few threads from the mailing list as wishlist bugs.

12c:uw: Bug aggregation.  Multi-repo meta-BE?
529:ow: How should we version BE?
2f0:aw: Static html report generation
22b:aw: Sorting targets chronologically
d99:aw: CherryPy interface "Cherry-flavored BE"
e08:aw: Interactive email interface

Added "--no-comments" to "be show".

Also moved the XML-header line to the top of the argument loop, since
there should only be one.  We're still missing global tags wrapping the
whole thing though...

Also set options.XML default to False.  It had been defaulting to
None, which was breaking the non-XML newline-adding check.

be-mbox-to-xml is now better at message-id, in-reply-to, and references.

A previous "len(ret) >= 0" had been stripping the alt-id and
in-reply-to from _all_ parts of multipart comments.  Now it only
strips them from parts after the first.  The following parts do not
specify and alt-id, and they all are in-reply-to the first part.

I also added the KNOWN_IDS list for selecting amongst an array of
possible in-reply-to or references ids.  This works well enough for
now, but would be more robust if we could import a list of previously
known ids from BE...

"be comment --xml" now saves the comments (again).

They are generated in memory (from_disk defaults to False)
  133:  new = comment.Comment(bug)
With the leaner saving since I started trusting sync_with_disk, they
were no longer making it to disk.

Easily fixed with an explicit save once you've got them all set up.

be-mbox-to-xml handles emails without explicit transfer encodings.

Added cProfile notes to README.dev.

Fixed extra change-hook save in testChangeHookMutableProperty.

The actual fix was

@@ -339,7 +355,10 @@
         fset = funcs.get("fset")
         name = funcs.get("name", "<unknown>")
         def _fget(self, new_value=None, from_fset=False): # only used if mutable == True
-            value = fget(self)
+            if from_fset == True:
+                value = new_value # compare new value with cached
+            else:
+                value = fget(self) # compare current value with cached
             if _cmp_cached_mutable_property(self, "change hook property", name, value) != 0:
                 # there has been a change, cache new value
                 old_value = _get_cached_mutable_property(self, "change hook property", name)

The reason for the double-save was:

  >>> print t.settings["List-type"]==EMPTY
  True
    (the cached value here is EMPTY)
  >>> t.list_type = []
    (old fget compares cached EMPTY to current EMPTY, no change, so no
     cache.  fset notices change and saves EMPTY->[])
  >>> t.list_type.append(5)
    (now fget notices the change EMPTY->[], caches [], and calls extra save)

The new way:

  >>> print t.settings["List-type"]==EMPTY
  True
    (the cached value here is EMPTY)
  >>> t.list_type = []
    (fget compares cached EMPTY to new [] and saves EMPTY->[])
  >>> t.list_type.append(5)
    (fget sees no change ([]->[]), which is correct)

In addition to the fix and the related corrections to
testChangeHookMutableProperty, I added details about mutables to all
relevant docstrings and stripped trailing whitespace from both files.

Touched up becommands/diff.py's help message.

Cleaned up saving/sync_with_disk.

Got rid of a whole bunch of redundant .save() calls when
sync_with_disk==True.

Fixed up the "File-system access" portion of the BugDir docstring so
we can all remember how things are supposed to work ;).

Note that some .save() calls are still required.  For example in
becommands/merge.py, the copied comments have their .bug changed, but
that is not a versioned property, so it doesn't trigger an automatic
save, and we have to force the .save() by hand.

libbe.rcs.RCS.mkdir() is now recursive by default, but you can set
check_parents==False if you want it to fail in the case of missing
parents.  Because of the recursion, we removed the .update() call
on preexisting directories, since there will be at least one of
these occurrences for every .mkdir(check_parents=True) call, and
I don't know of any VCS that actually needs them...

Also stripped trailing whitespace from some files...

Cleaned up some outdated libbe.settings_object.EMPTY cruft.

From back before commit
  wking@drexel.edu-20090619184215-nfx205yaj02sqrqx
cleaned up the versioned_property implementation.

Also a few style fixes and typos.

Added --allow-empty to "be commit"

Previously many backends would silently add an empty commit.  Not very
useful.  When the new --allow-empty flag and related allow_empty
options are false, every versioning backend is guaranteed to raise the
EmptyCommit exception in the case of an attempted empty commit.

Added becommands/commit.py and minor fixes.

Now we can commit changes from the command line with a unified
interface.  The interface is much less flexible than using your
particular version control system's commit command directly, so this
command is mostly intended for user-interfaces and other tools that
don't want to be bothered with the extra flexibility.

Normalized spacing in rcs.RCS.commit to produce:
  summary
  <BLANKLINE>
  body
  <TRAILING-ENDLINE>
messages regardless of the input string format.

Also fixed a "--complete" handline bug in cmdutil, and some minor
docstring typos in libbe.rcs and .editor.

Import sys in becommands/new.py.

Required for reading the bug summary string from stdin.

Fixed broken path in libbe.rcs.RCS._rcs_get_file_contents(binary=True).

I'd forgotten to prefix the directory root, so calling
  be show --only-raw-body COMMIT-ID
would fail if you weren't executing it in the repository root.

Merged directory reorganization

libbe/_version.py made PHONY in Makefile.

It should be updated after bzr commits, but Makefile doesn't
understand bzr, so just update every time.

Updated Makefile to match new organization

Reorganized directory structure, mostly to put all the interfaces in
one place and make things clearer to the uninitiated.  Here's my
current understanding:

.
|-- libbe          (the guts of BE)
|-- becommands     (plugins for all "be *" commands)
|-- doc            (documentation, currently just the man page)
|-- interfaces     (non-commandline interface implementations)
|   |-- web
|   |   |-- Bugs-Everywhere-Web    (in Turbogears)
|   |-- gui
|   |   |-- beg    (in Tkinter)
|   |   `-- wxbe   (in WX)
|   |-- email
|   `-- xml        (xml <-> whatever conversion)
`-- misc           (random odds and ends)
    `-- completion (shell completion scripts)

Note that I haven't attempted to use the web or gui interfaces in a
while, so I'm not sure how well they're holding vs the core
development.

Updated README to match current status.

Mostly updated the list of supported VCSs.

Also corrected spacing inconsistency in README.dev.

Updated GPLv2 to current GPLv2.

Fixes Ben's bug 00f26f04-9202-4288-8744-b29abc2342d6.

I also tweaked update_copyright.sh to make possible future
copyright-blurb revision easier.  The new algorithm is greedier,
overwriting _all_ consecutive comments after a '^# Copyright' line, so
do
  # Copyright
  #   GPL ... GPL ... GPL

  # Your comment here...
not
  # Copyright
  #   GPL ... GPL ... GPL
  #
  # Your comment here...
Without the blank line, your comment would get overwritten by the next
run of update_copyright.sh.

Note that catmutt is ignored by update_copyright.sh because Moritz
Barsnick has only licensed his grepm code under the GPLv2 (not
GPLv>=2).  See the initial catmutt commit for details.

Updated setup.py url and switched to rolling version names.

Merged Alex Miller's git-config-not-found patch

Fixed "be --dir --complete"

Added --dir option to "be"

Use CmdOptionParser in "be".

All the becommands have been using cmdutil CmdOptionParser for a long
time, but "be" parsed its options by hand.  Now it used
CmdOptionParser, which makes adding new options much easier.

Added (commented out) /usr/local PREFIX to Makefile.

I got a bit confused and installed be into "/usr/local " instead of
"/usr/local" with
  PREFIX = /usr/local # ${HOME}
With the alternate PREFIX line right there, there should be less
temptation to do again :p.

Added "be comment --xml --ignore-missing-references ID COMMENT".

Now you don't have to edit them out by hand.

be-mbox-to-xml passes attributes on to each part of multipart messages.

Previously "message[<some-attr>]" just returned None if it wasn't set
for that message part, which overwrote anything passed in through
fields.

"from" and "date" added to list of attributes passed along.

For be-xml-to-mbox, "alt-id" was added to Comment._attrs,
and Comment.print_to_mbox was adjusted to handle the case where
we have no information about the parent bug.

With all of this, I can complete the loop
  be-mbox-to-xml example.mbox | be-xml-to-mbox > example2.mbox
without errors :p.

Finally, be-xml-to-mbox has been adjusted to also work on files (it
had previously only handled data via stdin).  We can't add stdin
handling to be-mbox-to-xml though, because the mailbox package needs
an actual file to work on, and I haven't setup a tmpfile workaround
yet...

Altered be-xml-to-mbox to work with non-ASCII input.

Now it runs off xml.etree instead of xml.sax.

Removed "No matching bugs found" from "be list --xml" output.

Added timezone handling to libbe.utility.str_to_time.

Not escaping whitespace (e.g. endlines) outside the XML document root.

ElementTree.XML was choking on them.  I should unescape all whitespace
(e.g. tabs, etc.), but I'm lazy and don't have any XML that's strange
enough to need it ;).

Minor fixes to get unittests working again.

Added be-mbox-to-xml.

Reworked to allow "be comment" to handle unicode strings (see bug
e4ed63f6-9000-4d0b-98c3-487269140141).  The solution was to escape all
the unicode to produce and ASCII string before calling
ElementTree.XML, and then converting back to unicode afterwards.

Added a unicode-containing comment to the end of bug
f7ccd916-b5c7-4890-a2e3-8c8ace17ae3a so that there's a handy unicode
comment for testing.

XML headers (e.g. '<?xml version="1.0" encoding="UTF-8" ?>') are
now added to all xml output from be.

Switched non-text/* encoding library to base64 instead of
email.encoders, which makes that code in libbe/comment.py simpler.

Changed libbe/mapfile.py error encoding from string_escape to
unicode_escape so it can handle unicode.

Everything's still untested, and be-xml-to-mbox doesn't handle unicode
yet, but I felt this commit was getting a bit unwieldy ;).

Went through "closed" bugs looking for miss-categorized bugs.

Found a few that were actually "fixed" and one that I reopened.
Perhaps we should add a "merged" status to the default, so that the
merged bugs don't clutter up the closed bugs category...

Updating "be set --help" and "be status --help".

I don't really like the "defaults to None" for the settings that have
funky initialization procedures (most of them :p), but I'm not sure
how to handle that cleanly yet.  Perhaps
  be set --current
I also need to find a method of adding complicated settings like the
nested lists for severities, etc from the "be set" commandline.

Removed <abentley@panoramicfeedback.com> from copyright blurbs.

These didn't work with my update_copyright.sh.

I went with
  Aaron Bentley and Panometrics, Inc.
instead of
  Aaron Bentley <abentley@panoramicfeedback.com> and Panometrics, Inc.
just because of line length, but I'm open to convincing if people
prefer the latter...

"be comment --xml" now translates comment uuids to alt_ids.

Adjustments to new versioned_property behavior.

Also adjusted libbe/comment.py to move to user-specified alt_ids,
rather than uuids.

Fixed versioned_property(default=None, generator=None) defaults.

Now the behavior conforms to the docstring:
  If both default and generator are None, then the property will be a
  defaulting property which defaults to None.

Fixed minor doctest failure in cmdutil.py

Merged "be comment --xml" code from home.

seems to work ;)

Save whole bugdir in becommands/tag.py.

It doesn't matter now, but at some point Bugdir might implement some
sort of repo-wide caching which would need to be saved.  The
BugDir.save() method should be intelligent enough to not save things
that have not changed, so efficiency should not be effected either.

Simplified error handling in ./be

Removed superfluous nesting in ./be's error catching.  Also replaced
KeyErrors due to unknown commands with the more specific
cmdutil.UnknownCommand, since all sorts of programming errors can
raise KeyErrors.

Untested, since my working tree is a mess at the moment, but what
could go wrong? ;)

Added new-bug-from-stdin to mirror comments-from-stdin.

Added "be show --only-raw-body COMMENT-ID".

Added ability to show individual comments with "be show".

"be init [ROOTDIR]" -> "be init [--root ROOTDIR]"

Following Ben's Wed, 01 Jul 2009 11:31:51 +1000 suggestion.

Updated darcs put command for darcs >= 2.2.0, following Chris' report

Updated copyright blurbs and AUTHORS and included script for future updates

"be set-root" changed to "be init"

On the advice of
  Martin F Krafft <madduck@debian.org>
as posted in
  http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=477125
on
  Fri, 12 Jun 2009 17:03:02 +0200

"be comment" now handles the default options.content_type.

Previously it choked when options.content_type == None.
I'm not sure how that made it past test_usage.sh...

Add "--show-status" flag to "be depend"

Added darcs support.

I don't know much darcs, so I make no claims about the beauty of my
implementation.  It seems to get the job done though, until a darcs
guru comes along.

I also tweaked the libbe.git.Git._rcs_get_user_id to handle the case
where user.name or user.email are not set.

I also added the option to pass a stdin string into the
libbe.rcs.RCS._u_invoke* functions.

Remove blank line from bug.xml() output when bug has no comments.

Added ability to handle non text/* MIME types.

The main problem was the encoding/decoding that was happening to _all_
input/output.  Now many I/O activities have a `binary' option to
disable any encoding/decoding.  The `binary' flag is set whenever the
comment content-type is not a text/* type.

In order to print valid XML (and make life easy on xml/be-xml-to-mbox),
non text/* types are printed out as base64-encoded MIME messages, so
  be list --xml | be-xml-to-mbox | catmutt
works as you'd expect.

With the standard (non-XML) output from `be show', we just print a
message telling the user that we can't reasonably display the MIME
type and that they should use the XML output if they want to see it.

Updated help strings, man page, and completions

Fixed libbe.rcs.RCS.installed to handle missing backend binary.

This makes all the failed tests understandable, since they all crash
with strings like:
  AssertionError: Arch RCS not found
Which makes more sense than spitting out the raw CommandError.

It also means that installed_rcs() actually works now ;).

Updated .bzringore and Makefile.GENERATED_FILES

Added auto-generated version info. (be --version)

Remove blank line from tag's output if no tags exist

Added regexp matching to `be list --extra-strings'

Added extra_strings functionality to libbe.bug.xml and be-xml-to-mbox.

Merged extra-strings branch, adding be tag/depend.

Added `be depend'.

This closes bug 7ec2c071-9630-42b0-b08a-9854616f9144.  BE is now bug
free ;).  At least until the next commit :p.

Writing depend.py turned up a few style points in tag.py which I also
fixed.

Added `be tag --list' to list all tags.

Loading all the bugs for the list search had the side effect of
updating all the bug values files to the new YAML format.

Added -e/--extra-strings option to `be list`

Now you can limit your list to bugs matching certain extra strings,
e.g. "TAG:working".

Fixed settings=None bug when bug values file is blank/missing.

Just return an empty dict instead.

Steps to reproduce:

  $ mkdir /tmp/BE-test
  $ cd /tmp/BE-test
  $ be set-root
  $ be new 'having too much fun'

tag --remove now returns bug.settings["extra_strings"] to EMPTY.

extra_strings returns to a defaulting property from a cached/generator
property, with the help of the new, mutable defaults.  Lots of
deepcopies avoid mutable default uncertainty too ;).  And
copy.deepcopy([]) should be pretty cheap.

tag --remove had previously left settings["extra_strings"] as [],
which polluted the bug's values file.  Now the improved
defaulting_property notices a return to the default [], and sets the
internally stored value to EMPTY.

I struggled with creating a more intuitive way to notice changes to
extra_strings than the
  tmp = bug.extra_strings
  <work on tmp>
  bug.extra_strings = tmp
but didn't have any luck.  The problem seems to be that if you only
hand out copies of your default, you don't have any pointers to what
you handed out to check for changes.  On the other hand, if you hand
out your original default, any external changes will _change_ your
original default.  I suppose you could only hand out copies, but keep
a list of all copies handed out, but that sounds like a disaster.
Reassigning is easy enough.

Merged from main branch.  I like my version better ;).

`be target list` -> `be target --list` to standardize syntax.

And avoid confusion with bugs who's shorname is `list'? ;)

Now the usage info and help string also reflect the new method.

Add documentation and testcase for "be target list".

Only print a target in "be target list" if it's a string.

Add "be target list", to show a list of existing targets.

Merge with W. Trevor King's tree.

Add ability to list all current targets.

From his Wed, 24 Jun 2009 23:08:25 +0200 email to the list:

Hello

As I noted some time ago, there is not a way to list all the present targets
in the current repository.

At the time, Chris send me a patch to have this feature, but it still not
merged in the last revision (314).

So this is a patch for this feature to apply against revision 314. It is
basically a port of the old Chris's patch.

bye
Gianluca

Use generator instead of default for libbe.bug.Bug.extra_strings.

This avoids the problems associated with mutable defaults.

Added test case for mutables to libbe/settings_object.

This continues the line of changes started in libbe/properties with
the last two commits.  Also straightened up stranch double-default in
libbe.settings_object.versioned_property and moved the fn_checked
before checked, which shouldn't matter because I never use both at
once, and can't think of a case where you'd want to.

I've also added some docstrings to the settings_object unit tests,
since apparently docstrings get printed during the test if they exist,
and they look nicer than the name of the unittest itself.  More like
./configure output ;).

Cleaned up libbe.propertied.change_hook_property for mutables.

Now (except for a wimpy hash function) it's as good as it's going to
get for true mutables.  Calls to change_hook occur for all changes,
sometime after the change-enducing action and before the next
attribute access.  See testChangeHookMutableProperty for an example of
the expected behavior.

If you're doing some mutable-modification (e.g. t.x.append(5)) and you
want to `flush' the changes into a change_hook call, just assign t.x
to a dummy variable.  e.g.
  t.x.append(5)
  dummy = t.x

If you _really_ need post-modification change_hook calls without such
a flush, you're on your own.  Would you get the property-owning class
to poll for changes?

Added becommands/tag.py

Oops, I forgot to add becommands/tag.py with my last commit.  Here it
is now, with the added ability to remove tags.

Added Bug.extra_strings to support add-on functionality, e.g. `be tag`.

Versioned properties whose data is a mutable type are tricky, since
the simple comparisons we'd been using in
libbe.properties.change_hook_property don't work for mutables.  For
now, we avoid that problem by assuming a change happened whenever a
mutable property is set.  change_hook_property is a bit untidy at the
moment while I work out how to deal with mutables.

As an example of using Bug.extra_strings to patch on some useful
functionality, I've written becommands/tag.py.  I'd suggest future
add-ons (e.g. becommands/depend.py?) use the "<LABEL>:<value>" string
format to keep it easy to sort out which strings belong to which
add-ons.  tag.py is still missing command line tag-removal and
tag-searching for `be list'.  Perhaps something like

  be list --extra-strings TAG:<your-tag>,TAG:<another-tag>,DEPEND:<bug-id>

would be good, although it would requre escaping commas from the tags,
or refusing to allow commas in the tags...

libbe.properties.ValueCheckError also got a minor update so the
printed error message makes sense when raised with allowed being an
iterable (i.e. check_property) or a function
(e.g. fn_checked_property).

All of this digging around turned up a really buggy
libbe.bugdir.MultipleBugMatches.  Obviously I had never actually
called it before :p.  Should be fixed now.

libbe.comment._set_comment_body has also been normalized to match the
suggested change_hook interface: change_hook(self, old, new).
Although, I'm not sure why it hadn't been causing obvious problems
before, so maybe I'm misunderstanding something about that.

Consolidated outstanding bugs.

Only one live bug left:
  7ec2c071-9630-42b0-b08a-9854616f9144

I've decided (mostly due to the huge Trac post, see bug comments) to
_not_ hardcode dependencies, but to add an attribute-creation
mechanism that a becommand/depend.py could use for dependency
tracking.  Time for a new branch to think this out...

Added `be list --sort *` for user-selectable sorting.

Also added libbe.bug.cmp_last_modified, which handles part of
9ce2f015-8ea0-43a5-a03d-fc36f6d202fe.  To do better we could extend
the RCS framework.

I also transcribed a few emails from the be-devel list onto their
relavent bugs and closed a few bugs.

Finally, I removed some left over InvalidValue cruft.

Use Comment.content_type in xml output.

Merged be-xml-to-mbox

Created be-xml-to-mbox.

Converts the output of `be list --xml` mbox format.
For example:
  $ be list --xml | be-xml-to-mbox | catmutt

Only print RFC 2822 date in bug xml output.

Escape XML strings.

Since
  <creator>John Doe <jdoe@example.com></creator>
is not valid XML.

Adjusted catmutt for portability following Mortiz' suggestions.

Fixed libbe.settings_object.EMPTY output in bug/comment XML.

The xml() method hadn't been updated since the settings_object revamp.

Adjusted comment XML fields for consistency.

Renamed "name" -> "short-name" and "in_reply_to" -> "in-reply-to".
Reordered uuid before short-name.

Converted xml/grepm to xml/catmutt.

Now
  $ cat example.mbox | catmutt
works.  Onwards to be-xml-to-mbox!

Added grepm as a template for an output-mbox-to-mutt script.

The goal is to turn grepm into catmutt, and end up with
  $ be --xml list | be-xml-to-mbox | catmutt
to browse current bugs and comments in mutt.

Moritz has generously donated grepm under GPLv2.  Not GPLv>=2 yet, so
if the project decides to go to GLPv3 for example, this file will have
to stay behind.  Not that I see such a change coming, but I thought it
was worth commenting on, so we don't forget.

Replaced some doctest output with ellipses.

Following Chris' advice.  Don't know what I was thinking before ;).

Added --xml option to becommands/list.py

Restored completion/be.bash.

Oops.  I seem to have removed it in my Thu 2008-11-27 19:35:55 -0500
commit.  Luckily, the version I removed was still sitting right were
it belongs as
 /etc/bash_completion.d/be
Now it will be back in the tree.

Touch missing userwide config file before read if it's missing.

Another bug introduced by James Rowe's user-config patch.  Obviously
it's hard to read a file if there's no file there.  I'm not sure how
it passed the unit tests earlier.  Maybe I forgot to install the
pre-commit version before running the test suite...  Anyhow, fixed
now.

Merge from Ben Finney's RCS unittest patch

This involved an `upgrade' of BE's bzr repo
Previous version (via `bzr info path/to/repo`): pack-0.92
Current version: rich-root-pack

The whole rich-root thing is a bzr features-vs-backwards-compatability
thing they've been wrestling with [1,2,3,4,...].  It seems that BE was
in some sort of unstable equilibrium [5], so I'll follow Ben's lead
and make the official switch.  Note that you'll need to use bzr>=1.5
to make the shift [6].  For the sake of completeness, the whole
rich-root thing was introduced here [7], but I don't understand enough
of bzr to make sense of the diff.  It just versions the repo's root
directory the same way it versions other directories [3].  The bzr
people seem to be planning to phase out non-rich-root formats in favor
of brisbane-core, aka 2.0beta [8], by bzr 2.0 [8], which is apparently
on the horizon [9,10,11].  What a headache.

Citations are all titles/X-List-Received-Date from
  https://lists.ubuntu.com/archives/bazaar/
with the exception of the URL [11].

[1] [RFC] rich root pack as default in 1.8 ?
  Sat, 06 Sep 2008 03:33:46 -0000
  (conclusion: none)
[2] Re: 1.9rc1 countdown
  Thu, 30 Oct 2008 08:44:53 -0000
  (conclusion: "primary" format should be rich-root next time we make a new format)
[3] So many repo formats
  Fri, 14 Nov 2008 08:41:33 -0000
  Mon, 17 Nov 2008 07:37:47 -0000  (explains rich-root format)
  Mon, 17 Nov 2008 22:37:39 -0000  (explains no-return policy)
  Mon, 17 Nov 2008 20:57:08 -0000  (explicitly lists non-svn reasons for rich-root)
[4] Branch fails from 'pack-0.92' repo to 'rich-root-pack' repo.
  Wed, 27 Aug 2008 11:31:11 -0000
  (we're not sure again)
[5] Branch fails from 'pack-0.92' repo to 'rich-root-pack' repo.
  Sun, 20 Apr 2008 12:58:09 -0000
[6] Branch fails from 'pack-0.92' repo to 'rich-root-pack' repo.
  Fri, 29 Aug 2008 13:23:52 -0000
[7] [RFC] Knit format 2
  Fri, 25 Aug 2006 22:55:36 -0000
[8] bazaar 2.0beta format for launchpad release
  Fri, 29 May 2009 06:00:03 -0000
[9] Upgrading loggerhead to 1.9-rich-root
  Mon, 11 May 2009 22:35:28 -0000
  (mentions eventual switch to rich-root in 2.0)
[10] bzr 1.16rc1 released!
  Fri, 12 Jun 2009 08:00:08 -0000
  (confirms eventual switch to rich-root in 2.0)
[11] https://launchpad.net/bzr/+announcement/2733
  (current outstanding releases: 1.17, 2.0)