Py3k compatibility patch #1 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators..

svn path=/main/trunk/; revision=10870

Add a "prefix" keyword parameter to slot_dict_class() which controls the
prefix used when mapping attribute names from keys. Use this to change
the syntax from files["foo"] to files.foo (it's fewer characters to look
at).

svn path=/main/trunk/; revision=10869

Add a new BinpkgFetcherAsync class and use it to implement parellel-fetch
for --getbinpkg.

svn path=/main/trunk/; revision=10868

Never do realpath() on an empty string for portdbapi.porttree_root since
otherwise it can evaluate to $CWD which leads to undesireable results.

svn path=/main/trunk/; revision=10867

Also avoid sandbox violations in PreservedLibsRegistry.store(), for running
portage inside ebuild phases.

svn path=/main/trunk/; revision=10866

Handle potential errors in PreservedLibsRegistry.store() now that it can
be called via pruneNonExisting(), due to things such as portageq calls
where the user may not have write permission to the registry.

svn path=/main/trunk/; revision=10865

Split out a write_contents() function and a vardbapi.removeFromContents()
function. This is refactoring of code from the blocker file collision
contents handling in dblink.treewalk(). Also, there is a new
dblink._match_contents() method derived from isowner(). It returns the
exact path from the contents file that matches the given path, regardless
of path differences due to things such as symlinks.

svn path=/main/trunk/; revision=10864

add a call to pruneNonExisting() at the end of dbapi.vartree.PreservedLibsRegistry.__init__()

svn path=/main/trunk/; revision=10862

Fix typo.

svn path=/main/trunk/; revision=10861

Bug #230249 - Disable the "ebuild.notadded" check when not in commit mode and
running `svn list` and `svn status` calls in every package dir will be too
expensive.

svn path=/main/trunk/; revision=10860

Bug #230245 - Use os.path.basename() on paths returned from `svn list`
and `svn status`.

svn path=/main/trunk/; revision=10859

Bug #230245 - Pass the correct directory when calling `snv list` and
`svn status` since repoman supports category-level and repo-level
commits.

svn path=/main/trunk/; revision=10858

Add "(no inline comments)" to qualify "comments begin with #" statements.

svn path=/main/trunk/; revision=10857

Clear the self._task_queue to avoid duplicate parallel-fetch tasks
in --keep-going mode.

svn path=/main/trunk/; revision=10856

Reimplement parallel-fetch by spawning the `ebuild fetch` command for each
ebuild. The benefit of using this approach is that it can be integrated
together with parallel build scheduling that's planned. Parallel-fetch
support for binhost is not implemented yet, though it worked previously.

svn path=/main/trunk/; revision=10855

Avoid python-2.6 deprecation warnings for md5 and sha modules by trying
to import hashlib first and then falling back to the deprecated modules
if necessary. Thanks to ColdWind for reporting.

svn path=/main/trunk/; revision=10854

Rename the MergeTask class to Scheduler.

svn path=/main/trunk/; revision=10853

* Tweak conditionals in doebuild() to fix emerge --fetch breakage reported
  by Arfrever.

* Change a couple EMERGE_FROM conditionals to use the "returnpid" parameter
  instead.

svn path=/main/trunk/; revision=10852

Centralize select.poll() event handling in MergeTask._schedule(). This will
allow the parent process to handle output of multiple child processes
running in parllel.

svn path=/main/trunk/; revision=10851

Add EMERGE_FROM to the blacklisted vars in the config constructor.

svn path=/main/trunk/; revision=10850

 * Add "fd_pipes" and "returnpid" parameters to doebuild() and pass
   these into spawn calls, enabling ebuild processes to execute
   asynchronously.

 * Add a EbuildPhase class that's derived from the pty logging code
   inside portage.spawn().

 * Integrate post-phase code from spawnebuild() into EbuildBuild.execute()
   so that it still gets called even though doebuild() calls execute
   asynchronously.

svn path=/main/trunk/; revision=10849

In EbuildBuild.execute(), call doebuild() separately for each phase since
it will be easier to add asynchronous support to doebuild() if it's called
this way.

svn path=/main/trunk/; revision=10848

Split out a _check_build_log() function from spawnebuild().

svn path=/main/trunk/; revision=10847

Split out a _post_src_install_uid_fix() function from spawnebuild().

svn path=/main/trunk/; revision=10846

Split out a _spawn_misc_sh() function from spawnebuild().

svn path=/main/trunk/; revision=10845

Handle invalid atoms inside depgraph._add_pkg_deps(), to avoid an
unhandled InvalidAtom exception from dep_expand() when matching
against the vardb.

svn path=/main/trunk/; revision=10844

Move clean code, from the previous commit, from doebuild() to
EbuildBuild.execute() where it fits better.

svn path=/main/trunk/; revision=10843

Instead of calling the ebuild "clean" phase in MergeTask.merge(),
move it inside doebuild() where it can be tied into the actionmap_deps
framework.

svn path=/main/trunk/; revision=10842

Split out an EbuildBuildDir class to handle locking of the build dir.

svn path=/main/trunk/; revision=10841

Handle re.error exceptions raised from re.compile() when ACCEPT_CHOSTS
is invalid. Thanks to solar for reporting.

svn path=/main/trunk/; revision=10840

Make EbuildBinpkg delegate everything up to src_install() to
the EbuildBuild class.

svn path=/main/trunk/; revision=10839

* Remove unused EbuildBuild.pretend attribute.
* Add TODO not about asynchronous execution.

svn path=/main/trunk/; revision=10838

Bug #229859 - Also add atom validation to match().

svn path=/main/trunk/; revision=10837

Copy portageq exit code validation from has_version() to best_version().

svn path=/main/trunk/; revision=10836

Bug #229859 - Make portageq check atom validity when has_version() and
best_version() are called from inside the ebuild environment.

svn path=/main/trunk/; revision=10835

Use the EbuildMerge class instead of portage.merge().

svn path=/main/trunk/; revision=10834

Split out a PackageUninstall class.

svn path=/main/trunk/; revision=10833

* Split out an EbuildBinpkg class.
* Remove unused EbuildBuild.ldpath_mtimes attribute.

svn path=/main/trunk/; revision=10832

Split out an EbuildBuild class.

svn path=/main/trunk/; revision=10831

Fix typo.

svn path=/main/trunk/; revision=10830

Split out an EbuildMerge class.

svn path=/main/trunk/; revision=10829

 * Split out a BinpkgMerge class.
 * Fix typos in _get_hash_key() methods.

svn path=/main/trunk/; revision=10828

Split out a BinpkgFetcher class.

svn path=/main/trunk/; revision=10827

Split out an EbuildFetcher class.

svn path=/main/trunk/; revision=10826

Split the MergeTask._merge() method into 3 smaller methods. The new
methods are _execute_task() and _post_merge().

svn path=/main/trunk/; revision=10825

Bug #226307 - Copy come code from depgraph._iter_atoms_for_pkg() that
was used to solve bug #218854, and use it inside unmerge() when
matching sets to packages.

svn path=/main/trunk/; revision=10824

Fix depgraph.break_refs() to work with DependencyArg instances (or anything
else that may have a "root_config" attribute).

svn path=/main/trunk/; revision=10823

Remove the MergeTask._blocker_db attribute since it can just be a
local variable.

svn path=/main/trunk/; revision=10822

Break references from Package instances in the digraph before passing
it into the MergeTask constructor.

svn path=/main/trunk/; revision=10821

Pass the digraph into the MergeTask constructor. It's currently unused
but it will be useful for parallel scheduling.

svn path=/main/trunk/; revision=10820

Fix typo.

svn path=/main/trunk/; revision=10819

Add documentation for the new --keep-going option.

svn path=/main/trunk/; revision=10818

Generate and log eerror messages for any packages that need to be dropped
due to unsatisfied dependencies when --keep-going is enabled.

svn path=/main/trunk/; revision=10817

Call clear_caches() after the depgraph is out of scope, in MergeTask.merge().

svn path=/main/trunk/; revision=10812

Bug #12768 - Add a --keep-going option. This uses the same resume_depgraph()
function that's called for emerge --resume operations. Given the remaining
tasks, depedencies are recalculated and any tasks with unsatisfied
dependencies are automatically dropped.

svn path=/main/trunk/; revision=10811

Use bool() to simplify ObjectProxy.__nonzero__().

svn path=/main/trunk/; revision=10810

Split the --skipfirst code into a resume_depgraph() function that will
be useful for implementing a --keep-going option (bug #12768).

svn path=/main/trunk/; revision=10809

For brevity, and consistency with pkgcore, rename "all-installed" to just
"installed". Thanks to ferringb for the suggestion.

svn path=/main/trunk/; revision=10808

Call use_reduce() with matchall=1 when checking depstrings. Otherwise it's
possible for invalid deps to be ignored. Thanks to grobian for reporting.

svn path=/main/trunk/; revision=10807

Add "PATH" to the set of allowed pacakge metadata keys for the PackageIndex.

svn path=/main/trunk/; revision=10806

Fix the PermissionDenied message for color.map.

svn path=/main/trunk/; revision=10805

* Remove PORTAGE_LEGACY_GLOBALS hack for portage import since late
  initialization of portage.settings (via ObjectProxy) allows us
  to rely on being able to access the portage.exception namespace
  before portage.settings is initialized.

* Use portage.settings["ROOT"] instead of portage.root to avoid
  potential ObjectProxy compatibility issues.

svn path=/main/trunk/; revision=10804

Use settings["ROOT"] at the beginning of env_update() to avoid breakage
due to "root" being an ObjectProxy instance.

svn path=/main/trunk/; revision=10803

Handle KeyError from aux_get() inside dbapi._iter_match_slot() and
_iter_match_use(). Thanks to grobian for reporting.

svn path=/main/trunk/; revision=10802

change default name of EverythingSet to @all-installed (bug #229467)

svn path=/main/trunk/; revision=10801

Also use a separate proxy type for portage.mtimedb since it's independent
from the portdb and settings.

svn path=/main/trunk/; revision=10800

Use a separate proxy type to trigger portage.portdb initialization separately
from the rest of the legacy global variables. This can be useful since
sometimes the other variables are needed while the portdb is not.

svn path=/main/trunk/; revision=10799

Implement lazy initialization of global "portdb", "settings" and other
variables that pollute the portage module. This works by initializing
the global variables with dummy "proxy" objects that serve as a means
to trigger lazy initialization. As soon as the first attribute access
or method call occurs on one of the proxy objects, it causes all the
proxy objects to be replaced with the real ones.

It's possible for an unsupported attribute access or method call on a
proxy object to trigger an error, leading to breakage. However, hopefully
these such corner cases will negligible (only time will tell).

svn path=/main/trunk/; revision=10798

Make PackageIndex use SlotDict for package metadata storage. The set of
allowed keys is passed into the PackageIndex constructor (normal dict
instances will be used if the set of keys is not passed in for some
reason). A SlotDict.allowed_keys attribute now provides access to a
frozenset of allowed keys.

svn path=/main/trunk/; revision=10797

Use SlotDict where appropriate in binarytree._populate().

svn path=/main/trunk/; revision=10796

Fix typo.

svn path=/main/trunk/; revision=10795

Add docstring to slot_dict_class().

svn path=/main/trunk/; revision=10794

Fix typo.

svn path=/main/trunk/; revision=10793

Fix KeyError constructor style.

svn path=/main/trunk/; revision=10792

Fix indentation.

svn path=/main/trunk/; revision=10791

Add a generic portage.cache.mappings.slot_dict_class() function which
generates mapping classes that behave similar to a dict but store
values as object attributes that are allocated via __slots__. Instances
of these objects have a smaller memory footprint than a normal dict object.
These classes are used to reduce the memory footprint of the dbapi.aux_get()
caches and the Package.metadata attribute.

svn path=/main/trunk/; revision=10790

Swap out the whole Package.root_config attribute inside depgraph.break_refs().

svn path=/main/trunk/; revision=10789

Clarify EverythingSet.description a bit. Thanks to Necoro.

svn path=/main/trunk/; revision=10787

Clarify EverythingSet.description a bit. Thanks to Necoro.

svn path=/main/trunk/; revision=10786

Fix Atom -> str breakage in depgraph.saveNomergeFavorites(). Thanks to
grobian and darsiide.

svn path=/main/trunk/; revision=10785

Fix repoman breakage wrt _PackageMetadataWrapper._keys values.

svn path=/main/trunk/; revision=10783

After the depgraph caches the vardb state in a FakeVartree, to make
some room on the heap, clear the vardbapi caches.

svn path=/main/trunk/; revision=10782

Implement __contains__, pop() and clear() for Package.metadata attributes.

svn path=/main/trunk/; revision=10780

Use os.listdir() instead of portage.listdir() to avoid needless caching
of directories that only need to be listed once.

svn path=/main/trunk/; revision=10779

Make clear_caches() call portage.dircache.clear().

svn path=/main/trunk/; revision=10778

Remove the BlockerDB._blocker_cache attribute and just create new
instances on demand instead of taking space on the heap.

svn path=/main/trunk/; revision=10777

For the Package.metadata attribute, only implement the dict interface
instead of actually inheriting from dict. This slightly decreases the
memory footprint by defining __slots__ and storing items as object
attributes.

svn path=/main/trunk/; revision=10776

Bug #229069 - Before deleting the depgraph, break references pointing
to the depgraph from Package instances in the merge list. This helps
reduce the heap size a lot.

svn path=/main/trunk/; revision=10775

Fix spelling of depgraph._complete_threshold.

svn path=/main/trunk/; revision=10774

If dep calculation time exceeds 20 seconds then automatically
enable "complete" mode since any performance difference is
not as likely to be noticed by the user after this much time
has passed.

svn path=/main/trunk/; revision=10773

Use weakref.WeakValueDictionary to make cached Atom instances eligible for
garbage collection when no strong references remain.

svn path=/main/trunk/; revision=10772

Bug #229233 - Fix Atom -> str breakage in the depgraph.display_problems()
package.provided warning message.

svn path=/main/trunk/; revision=10771

Clear dbapi caches just after deleting the depgraph in action_build().
This trims down the heap size by a few megs, for bug #229069.

svn path=/main/trunk/; revision=10769

Fix some remaining corner cases that cause bug #220341 to reappear
intermittently. Thanks to pva for reporting.

svn path=/main/trunk/; revision=10768

Use paths from portage.const instead of hardcoded versions.
(branches/prefix r10765)

svn path=/main/trunk/; revision=10766

Bug #228977 - During dblink._preserve_libs() calls, cache results of
LinkageMap.findProviders(), LinkageMap.findConsumers(), and os.path.realpath()
calls in order to improve performance. This makes a huge difference in
performance for glibc upgrades since glibc provides so many libs to
check consumerge for.

svn path=/main/trunk/; revision=10764

Bug #228935 - Add a new "command not found" build log QA Notice. Thanks to
Olivier Huber for the initial patch.

svn path=/main/trunk/; revision=10763

Bug #228977 - Protect against possible infinite loop in
dblink._preserve_libs().

svn path=/main/trunk/; revision=10762

Bug #228939 - Fix display list interaction with --tree mode to prevent
display of a duplicate list.

svn path=/main/trunk/; revision=10761

Fix broken path handling wrt $ROOT in LibraryConsumerSet.mapPathsToAtoms().

svn path=/main/trunk/; revision=10759