The dependency resolver now has a feedback mechanism that helps make atom
selections more consistent with previous selections that have been added to
the graph. This solves some common cases of bug #1343.

svn path=/main/trunk/; revision=9906

Comment some more on the significance of passing the graph_db and parent
into depgraph._select_atoms() to solve some cases of bug #1343 while
avoiding unresolvable direct circular dependencies.

svn path=/main/trunk/; revision=9904

Add support to depgraph._select_atoms() to take a "parent" parameter
and use that to try and avoid unresolvable direct circular dependencies
when necessary. Also, make atom selection more consistent with the
graph to solve some cases of bug #1343. This improves the fix from
bug #141118 to work in cases when a virtual is not yet installed but
it has been pulled into the graph. For example, see the case of
in Bug #163801#c17, where we want kaffe to satisfy virtual/jdk-1.4
without an extra jvm being pulled in unnecessarily.

svn path=/main/trunk/; revision=9901

Revert part of atom selection consistency improvement from r9873 since it
in some cases it triggers unresolvable direct circular dependencies. For
example, this happens with gwydion-dylan which depends on either itself
or gwydion-dylan-bin. In case gwydion-dylan is not yet installed,
gwydion-dylan-bin needs to be selected in order to avoid a an unresolvable
direct circular dependency.

svn path=/main/trunk/; revision=9900

Bug #217664 - Fix emerge 'by path' package argument handling so that
Package instances are properly cached (avoiding a KeyError later).

svn path=/main/trunk/; revision=9898

In config.setcpv() and regenerate(), replace str.startswith() calls with
slice comparison. It's not pretty but performance is critical in this section
of code and there is a measurable performance difference.

svn path=/main/trunk/; revision=9896

Fix issues with an empty string being passed into
PreservedLibsRegistry.register() now that COUNTER is not loaded
via config.load_infodir(). Thanks to grobian for reporting.

svn path=/main/trunk/; revision=9895

Revert back to using startwith because I screwed up my benchmark and it
turns out starswith is faster than using regular expressions.

svn path=/main/trunk/; revision=9891

When regenerating USE_EXPAND in config.setcpv(), improve performance by
using regular expression instead of str.startswith().

svn path=/main/trunk/; revision=9890

Fix some breakage in the allow_unsatisfied handling.

svn path=/main/trunk/; revision=9886

Call depgraph._add_dep() to add package dependencies to the graph
as soon as possible rather than pushing them onto the stack.

svn path=/main/trunk/; revision=9885

Split out a depgraph._add_dep() method.

svn path=/main/trunk/; revision=9884

s/timetasmp/timestamp/

svn path=/main/trunk/; revision=9883

Fix some more broken logic inside WorldSet.load().

svn path=/main/trunk/; revision=9882

Fix buggy logic in WorldSet.load() that causes it to discard all of
it's atoms in some cases (leading to loss of the whole world file).

svn path=/main/trunk/; revision=9881

* For optimal atom selection, use PackageVirtualDbapi instances in place
  of the vardb for all dep_check() calls.
* Replace dep_check_trees in depgraph.validate_blockers() with the
  equivalent self._graph_trees reference.

svn path=/main/trunk/; revision=9879

To optimize consistency of atom selections, add all of the root packages
to the graph before processing any dependencies.

svn path=/main/trunk/; revision=9874

Improve lookahead for new-style virtuals:

* Substitue the graph tree for the vartree in dep_check() since we
  want atom selections to be consistent with package selections
  have already been made.
* Add the selected package to the graph as soon as possible
  so that later dep_check() calls can use it as feedback
  for making more consistent atom selections.
* Expand all slots of new-style virtuals inside _dep_check_composite_db
  so that lookahead examines a matched slots.

This solves some cases of bug #1343, and extends the fix for bug
#141118 to work in cases when a virtual is not yet installed but
it has been pulled into the graph.

svn path=/main/trunk/; revision=9873

Fix the _dep_check_composite_db visibility filtering some more.

svn path=/main/trunk/; revision=9872

Fix _dep_check_composite_db.match() so that it doesn't exempt the highest
slot from visibility checks.

svn path=/main/trunk/; revision=9871

Make _dep_check_composite_db match() return multiple slots so that
it behaves more like other dbapi instances would, and also make it
inherit from dbapi.

svn path=/main/trunk/; revision=9870

store sets in a different physical location than normal packages for 'world' (makes ferringb a bit happier, and might have other advantages in the future)

svn path=/main/trunk/; revision=9866

Convert st_mtime to long for movefile() return type.

svn path=/main/trunk/; revision=9865

Make movefile() tolerant to EPERM errors that can be raised from utime()
calls. Instead of failing, use stat() to return the mtime if possible.

svn path=/main/trunk/; revision=9864

fix check for other lib copies to properly exclude the current package

svn path=/main/trunk/; revision=9862

In --buildpkgonly mode, don't discard RDEPEND and PDEPEND if --empty or
--deep are enabled. The makes it possible to run `emerge -eB world` and
have every single package rebuilt (without actually installing anything).

svn path=/main/trunk/; revision=9860

Fix the filtering for bug #215016:

* fix broken comparison for he iuse filtering
* filter out any duplicates that variable may contain

svn path=/main/trunk/; revision=9858

Bug #217444 - Send debug-print() output to stderr so that it can't interfere
with command substitution. Thanks to Fabio Rossi <rossi.f@inwind.it> for
this patch.

svn path=/main/trunk/; revision=9856

* Optimize config.setcpv() to return early if IUSE has not changed since
  the previous setcpv() call.

* Add EBUILD_PHASE to the blacklisted variables list.

svn path=/main/trunk/; revision=9854

Bug #215016 - When transforming of USE flags to USE_EXPAND variables,
filter out flags that aren't considered to be part of IUSE or implicit
IUSE. This patch moves all IUSE dependent code from config.regenerate()
to config.setcpv().

svn path=/main/trunk/; revision=9852

Make binarytree.prevent_collision() adjust permissions on directories
and raise a PermissionDenied error if the required directories is
not writable.

svn path=/main/trunk/; revision=9850

Add some notes for the parallel-fetch feature and the new --complete-graph
option for emerge.

svn path=/main/trunk/; revision=9848

Rename the undocumented --conistent option to --complete-graph and add
some docs.

svn path=/main/trunk/; revision=9846

Make file_get() redirect FETCHCOMMAND output to stdout just like
portage.fetch() does. Thanks to Ramereth for reporting.

svn path=/main/trunk/; revision=9844

Fix 'undefined name' errors found by pyflakes.

svn path=/main/trunk/; revision=9842

Fix the code from the previous commit so that it doesn't try to pull
USE from a portdbapi instance (like when called by repoman) since
portdbapi doesn't return USE in aux_get() calls.

svn path=/main/trunk/; revision=9840

When dep_check() expands new-style virtuals, use USE flags from aux_get
calls to evaluate any conditionals that the depstrings might contain. This
works properly for ebuilds now that aux_get() is backed by Package instances
containing the correct USE.

svn path=/main/trunk/; revision=9839

Make doebuild() bail out early with a PermissionDenied error if there
is no write access to $PKGDIR.

svn path=/main/trunk/; revision=9837

Remove unused infodir variable.

svn path=/main/trunk/; revision=9835

Remove all calls to config.load_infodir() since it doesn't seem
to server any purpose now that the complete environment is loaded
from environment.bz2.

svn path=/main/trunk/; revision=9834

In config.setcpv() and load_infodir(), always set known good values
for CATEGORY and PF, since corruption of these can cause problems.

svn path=/main/trunk/; revision=9832

Copy group mode bits from $PKGDIR when creating subdirectories.

svn path=/main/trunk/; revision=9827

Tweak --buildpkgonly and fakeroot logic so that --buildpkgonly can be
used by a non-root user to build binary packages with fakeroot.

svn path=/main/trunk/; revision=9825

Nest the DepcheckCompositeDB class inside the depgraph class since it's
not intended for use elsewhere.

svn path=/main/trunk/; revision=9823

Rename variable pkg_cpv to pkg_str.

svn path=/main/trunk/; revision=9821

Fix "pkg" variable name collisions in depgraph.display().

svn path=/main/trunk/; revision=9819

Make the CHOST visibility check tolerant of missing CHOST metadata.

svn path=/main/trunk/; revision=9817

Bug #217122 - When waiting for a parallel-fetch download to complete,
show a more friendly and informative message.

svn path=/main/trunk/; revision=9815

Remove an unused function.

svn path=/main/trunk/; revision=9810

Implement expansion of catgories in DepcheckCompositeDB.match() for old
installed packages that may contain atoms that are not fully qualified.

svn path=/main/trunk/; revision=9808

Iterate over a copy of the digraph nodes so that removal can't break
the iterator.

svn path=/main/trunk/; revision=9799

Make sure that everything except Package nodes is ignored when doing
the --buildpkgonly digraph.hasallzeros() check.

svn path=/main/trunk/; revision=9797

Use cached Package instances in depgraph.display().

svn path=/main/trunk/; revision=9794

* Make depclean/prune use cached Package instances for visibility checks.
* Make FakeVartree wrap dbapi.match() to make sure the metadata in Package
  instances gets updated for any cpv that is returned from a match()
  call, since the metadata can be accessed directly from the Package instance
  instead of via aux_get().

svn path=/main/trunk/; revision=9789

Make FakeVartree use PackageVirtualDbapi instead of fakedbapi so that it can
populate and utilize a cache of Package instances.

svn path=/main/trunk/; revision=9788

Improve used of cached Package instances in depgraph._select_pkg_from_graph().

svn path=/main/trunk/; revision=9787

Replace the fakdbapi class that is used to track depgraph state with a
similar PackageVirtualDbapi class that uses Package instances internally.
This eliminates some redundancy since the Package instances can be reused
elsewhere, unlike the internal data structures used by fakedbapi.

svn path=/main/trunk/; revision=9786

Add some docs for the DepcheckCompositeDB class.

svn path=/main/trunk/; revision=9785

When checking atoms without categories against the installed packages, just
check for existence of the cat/pn rather that a full match.

svn path=/main/trunk/; revision=9779

Fix the docstring for depgraph._dep_expand().

svn path=/main/trunk/; revision=9777

Fix minor issues in the calculation of the number of parents omitted from
the slot collision display.

svn path=/main/trunk/; revision=9775

When pruning the list of parents for the slot collision display, always
show parents that themselves have been pulled into collision slots, since
those are more relevant that others. (branches/2.1.2 r9773)

svn path=/main/trunk/; revision=9774

Make DepcheckCompositeDB cache Package instances for aux_get() calls.

svn path=/main/trunk/; revision=9771

When depgraph.select_files() expands an atom category, in case of an old-style
virtual, defer category expansion so that the depgraph has more choices.

svn path=/main/trunk/; revision=9769

Create a new depgraph._dep_expand() method for select_files() to expand
atoms that have no category.

svn path=/main/trunk/; revision=9765

Handle issues with newlines in elog messages that can trigger an unhandled
ValueError to be raised from a split() call inside collect_ebuild_messages():
* Use \0 to delimit messages, so that that elog messages containing newlines
  are handled correctly.
* Handle a potential ValueError when splitting the message type.

svn path=/main/trunk/; revision=9763

Make depgraph.select_files() detect when a package name given as an argument
is ambiguous due to the existence of a new-style virtual with the same
name (cpv_expand() will not always raise a ValueError in cases like this).

svn path=/main/trunk/; revision=9762

Split out a depgraph method to check if a specific new-style virtual
package exists.

svn path=/main/trunk/; revision=9761

Bug #162542 - When checking permissions inside CCACHE_DIR for compatibility
with FEATURES=userpriv, check the permissions on files inside the directory
to decide whether to fix the permissions.

svn path=/main/trunk/; revision=9759

Bug #197810 - Don't automatically downgrade packages for which available
matching versions are masked by corruption, but do automatically downgrade
installed packages that themselves have a valid mask such as from
package.mask.

svn path=/main/trunk/; revision=9756

Fix --update greedy atoms logic so that it only pulls in packages that
actually match the given atom.

svn path=/main/trunk/; revision=9755

Fix a little issue in the code from bug #197905 that causes some elog
messages to get lost.

svn path=/main/trunk/; revision=9747

Remove the depgraph._get_arg_for_pkg() method since _iter_atoms_for_pkg()
does the job.

svn path=/main/trunk/; revision=9745

Remove unused iter_atoms() function.

svn path=/main/trunk/; revision=9744

For repoman, only cache the metadata necessary for visibility
checks in order to reduce memory consumption.

svn path=/main/trunk/; revision=9743

When reading and writing the Packages index file, translate metadata keys
on the fly. Current translations:
DESC <-> DESCRIPTION
REPO <-> repository

svn path=/main/trunk/; revision=9742

* Optimize metadata caching in pordbapi and bindbapi so that cache is
  never pulled for the same package twice.
* Cache a Package instances constructed during package selection
  and reuse them during later package selections.

svn path=/main/trunk/; revision=9741

Handle empty KEYWORDS in the Packages file.

svn path=/main/trunk/; revision=9740

Fix broken IUSE defaults handling when filtering USE for the Packages file.

svn path=/main/trunk/; revision=9739

Move all the --update greedy slot logic to depgraph.select_files().

svn path=/main/trunk/; revision=9738

Move virtuals logic from DepcheckCompositeDB.match() to
depgraph._iter_atoms_for_pkg() since it's more generally
useful there.

svn path=/main/trunk/; revision=9737

Fix variable name collision in DepcheckCompositeDB.match().

svn path=/main/trunk/; revision=9736

Fix DepcheckCompositeDB.match() so that it doesn't assume that every
DependencyArg instance has an "atom" attribute.

svn path=/main/trunk/; revision=9735

Fix BASH_ARGC and BASH_ARGV offsets some more.

svn path=/main/trunk/; revision=9734

In dump_trace(), fix BASH_ARGV and BASH_ARGC offsets so that they are always
correct wrt eachother. Thanks to Betelgeuse for reporting.

svn path=/main/trunk/; revision=9733

Fix java.eclassesnotused logic. Thanks to Betelgeuse.

svn path=/main/trunk/; revision=9732

Rename the CompositDbapi class to DepcheckCompositeDB since it's really
a special pupose class just for dep_check() and it doesn't implement the
full dbapi interface.

svn path=/main/trunk/; revision=9731

Fix the CompositDbapi.match() logic wrt "selective" behavior and installed
packages so that it correctly handles false argument matches due to PROVIDE
when a corresponding new-style virtual exists.

svn path=/main/trunk/; revision=9729

only preserve libraries if no copy exists in the libary search path (bug #215242)

svn path=/main/trunk/; revision=9728

* Use type -P which does not produce messages to stderr.
  another option is to redirect both stderr and out.
* Avoid &> replace with > ... 2>&1
Thanks to Alon Bar-Lev for this patch.

svn path=/main/trunk/; revision=9727

preserve order of ebuild messages even between different message types (bug #197905)

svn path=/main/trunk/; revision=9726

Clarify --with-bdeps behavior with example. Thanks to Griffon26 for
this patch.

svn path=/main/trunk/; revision=9725

When necessary, make quickpkg add missing metadata to the vdb entry before
creating the binary package.

svn path=/main/trunk/; revision=9723

Handle a potential InvalidDependString exception inside
CompositeDbapi.match().

svn path=/main/trunk/; revision=9720

Bug #216328 - Fix broken --newuse reinstallation logic.

svn path=/main/trunk/; revision=9718

Fix the depgraph package selection cache to update the "existing node"
state of packages if they've been added to the graph since the last
call.

svn path=/main/trunk/; revision=9717

Fix a typo.

svn path=/main/trunk/; revision=9716

Memoize package selection results in the depgraph for better performance.

svn path=/main/trunk/; revision=9715

Remove "selective" depgraph logic from dep_zapdeps() since it's now
handled by CompositeDbapi.

svn path=/main/trunk/; revision=9714

Replace the depgraph's fakedbapi of visible packages with a new
CompositeDbapi that is implemented on top of the depgraph's
existing package selection logic.

svn path=/main/trunk/; revision=9713