Improve lookahead for new-style virtuals:

* Substitue the graph tree for the vartree in dep_check() since we
  want atom selections to be consistent with package selections
  have already been made.
* Add the selected package to the graph as soon as possible
  so that later dep_check() calls can use it as feedback
  for making more consistent atom selections.
* Expand all slots of new-style virtuals inside _dep_check_composite_db
  so that lookahead examines a matched slots.

This solves some cases of bug #1343, and extends the fix for bug
#141118 to work in cases when a virtual is not yet installed but
it has been pulled into the graph.

svn path=/main/trunk/; revision=9873

Fix the _dep_check_composite_db visibility filtering some more.

svn path=/main/trunk/; revision=9872

Fix _dep_check_composite_db.match() so that it doesn't exempt the highest
slot from visibility checks.

svn path=/main/trunk/; revision=9871

Make _dep_check_composite_db match() return multiple slots so that
it behaves more like other dbapi instances would, and also make it
inherit from dbapi.

svn path=/main/trunk/; revision=9870

store sets in a different physical location than normal packages for 'world' (makes ferringb a bit happier, and might have other advantages in the future)

svn path=/main/trunk/; revision=9866

Convert st_mtime to long for movefile() return type.

svn path=/main/trunk/; revision=9865

Make movefile() tolerant to EPERM errors that can be raised from utime()
calls. Instead of failing, use stat() to return the mtime if possible.

svn path=/main/trunk/; revision=9864

fix check for other lib copies to properly exclude the current package

svn path=/main/trunk/; revision=9862

In --buildpkgonly mode, don't discard RDEPEND and PDEPEND if --empty or
--deep are enabled. The makes it possible to run `emerge -eB world` and
have every single package rebuilt (without actually installing anything).

svn path=/main/trunk/; revision=9860

Fix the filtering for bug #215016:

* fix broken comparison for he iuse filtering
* filter out any duplicates that variable may contain

svn path=/main/trunk/; revision=9858

Bug #217444 - Send debug-print() output to stderr so that it can't interfere
with command substitution. Thanks to Fabio Rossi <rossi.f@inwind.it> for
this patch.

svn path=/main/trunk/; revision=9856

* Optimize config.setcpv() to return early if IUSE has not changed since
  the previous setcpv() call.

* Add EBUILD_PHASE to the blacklisted variables list.

svn path=/main/trunk/; revision=9854

Bug #215016 - When transforming of USE flags to USE_EXPAND variables,
filter out flags that aren't considered to be part of IUSE or implicit
IUSE. This patch moves all IUSE dependent code from config.regenerate()
to config.setcpv().

svn path=/main/trunk/; revision=9852

Make binarytree.prevent_collision() adjust permissions on directories
and raise a PermissionDenied error if the required directories is
not writable.

svn path=/main/trunk/; revision=9850

Add some notes for the parallel-fetch feature and the new --complete-graph
option for emerge.

svn path=/main/trunk/; revision=9848

Rename the undocumented --conistent option to --complete-graph and add
some docs.

svn path=/main/trunk/; revision=9846

Make file_get() redirect FETCHCOMMAND output to stdout just like
portage.fetch() does. Thanks to Ramereth for reporting.

svn path=/main/trunk/; revision=9844

Fix 'undefined name' errors found by pyflakes.

svn path=/main/trunk/; revision=9842

Fix the code from the previous commit so that it doesn't try to pull
USE from a portdbapi instance (like when called by repoman) since
portdbapi doesn't return USE in aux_get() calls.

svn path=/main/trunk/; revision=9840

When dep_check() expands new-style virtuals, use USE flags from aux_get
calls to evaluate any conditionals that the depstrings might contain. This
works properly for ebuilds now that aux_get() is backed by Package instances
containing the correct USE.

svn path=/main/trunk/; revision=9839

Make doebuild() bail out early with a PermissionDenied error if there
is no write access to $PKGDIR.

svn path=/main/trunk/; revision=9837

Remove unused infodir variable.

svn path=/main/trunk/; revision=9835

Remove all calls to config.load_infodir() since it doesn't seem
to server any purpose now that the complete environment is loaded
from environment.bz2.

svn path=/main/trunk/; revision=9834

In config.setcpv() and load_infodir(), always set known good values
for CATEGORY and PF, since corruption of these can cause problems.

svn path=/main/trunk/; revision=9832

Copy group mode bits from $PKGDIR when creating subdirectories.

svn path=/main/trunk/; revision=9827

Tweak --buildpkgonly and fakeroot logic so that --buildpkgonly can be
used by a non-root user to build binary packages with fakeroot.

svn path=/main/trunk/; revision=9825

Nest the DepcheckCompositeDB class inside the depgraph class since it's
not intended for use elsewhere.

svn path=/main/trunk/; revision=9823

Rename variable pkg_cpv to pkg_str.

svn path=/main/trunk/; revision=9821

Fix "pkg" variable name collisions in depgraph.display().

svn path=/main/trunk/; revision=9819

Make the CHOST visibility check tolerant of missing CHOST metadata.

svn path=/main/trunk/; revision=9817

Bug #217122 - When waiting for a parallel-fetch download to complete,
show a more friendly and informative message.

svn path=/main/trunk/; revision=9815

Remove an unused function.

svn path=/main/trunk/; revision=9810

Implement expansion of catgories in DepcheckCompositeDB.match() for old
installed packages that may contain atoms that are not fully qualified.

svn path=/main/trunk/; revision=9808

Iterate over a copy of the digraph nodes so that removal can't break
the iterator.

svn path=/main/trunk/; revision=9799

Make sure that everything except Package nodes is ignored when doing
the --buildpkgonly digraph.hasallzeros() check.

svn path=/main/trunk/; revision=9797

Use cached Package instances in depgraph.display().

svn path=/main/trunk/; revision=9794

* Make depclean/prune use cached Package instances for visibility checks.
* Make FakeVartree wrap dbapi.match() to make sure the metadata in Package
  instances gets updated for any cpv that is returned from a match()
  call, since the metadata can be accessed directly from the Package instance
  instead of via aux_get().

svn path=/main/trunk/; revision=9789

Make FakeVartree use PackageVirtualDbapi instead of fakedbapi so that it can
populate and utilize a cache of Package instances.

svn path=/main/trunk/; revision=9788

Improve used of cached Package instances in depgraph._select_pkg_from_graph().

svn path=/main/trunk/; revision=9787

Replace the fakdbapi class that is used to track depgraph state with a
similar PackageVirtualDbapi class that uses Package instances internally.
This eliminates some redundancy since the Package instances can be reused
elsewhere, unlike the internal data structures used by fakedbapi.

svn path=/main/trunk/; revision=9786

Add some docs for the DepcheckCompositeDB class.

svn path=/main/trunk/; revision=9785

When checking atoms without categories against the installed packages, just
check for existence of the cat/pn rather that a full match.

svn path=/main/trunk/; revision=9779

Fix the docstring for depgraph._dep_expand().

svn path=/main/trunk/; revision=9777

Fix minor issues in the calculation of the number of parents omitted from
the slot collision display.

svn path=/main/trunk/; revision=9775

When pruning the list of parents for the slot collision display, always
show parents that themselves have been pulled into collision slots, since
those are more relevant that others. (branches/2.1.2 r9773)

svn path=/main/trunk/; revision=9774

Make DepcheckCompositeDB cache Package instances for aux_get() calls.

svn path=/main/trunk/; revision=9771

When depgraph.select_files() expands an atom category, in case of an old-style
virtual, defer category expansion so that the depgraph has more choices.

svn path=/main/trunk/; revision=9769

Create a new depgraph._dep_expand() method for select_files() to expand
atoms that have no category.

svn path=/main/trunk/; revision=9765

Handle issues with newlines in elog messages that can trigger an unhandled
ValueError to be raised from a split() call inside collect_ebuild_messages():
* Use \0 to delimit messages, so that that elog messages containing newlines
  are handled correctly.
* Handle a potential ValueError when splitting the message type.

svn path=/main/trunk/; revision=9763

Make depgraph.select_files() detect when a package name given as an argument
is ambiguous due to the existence of a new-style virtual with the same
name (cpv_expand() will not always raise a ValueError in cases like this).

svn path=/main/trunk/; revision=9762

Split out a depgraph method to check if a specific new-style virtual
package exists.

svn path=/main/trunk/; revision=9761

Bug #162542 - When checking permissions inside CCACHE_DIR for compatibility
with FEATURES=userpriv, check the permissions on files inside the directory
to decide whether to fix the permissions.

svn path=/main/trunk/; revision=9759

Bug #197810 - Don't automatically downgrade packages for which available
matching versions are masked by corruption, but do automatically downgrade
installed packages that themselves have a valid mask such as from
package.mask.

svn path=/main/trunk/; revision=9756

Fix --update greedy atoms logic so that it only pulls in packages that
actually match the given atom.

svn path=/main/trunk/; revision=9755

Fix a little issue in the code from bug #197905 that causes some elog
messages to get lost.

svn path=/main/trunk/; revision=9747

Remove the depgraph._get_arg_for_pkg() method since _iter_atoms_for_pkg()
does the job.

svn path=/main/trunk/; revision=9745

Remove unused iter_atoms() function.

svn path=/main/trunk/; revision=9744

For repoman, only cache the metadata necessary for visibility
checks in order to reduce memory consumption.

svn path=/main/trunk/; revision=9743

When reading and writing the Packages index file, translate metadata keys
on the fly. Current translations:
DESC <-> DESCRIPTION
REPO <-> repository

svn path=/main/trunk/; revision=9742

* Optimize metadata caching in pordbapi and bindbapi so that cache is
  never pulled for the same package twice.
* Cache a Package instances constructed during package selection
  and reuse them during later package selections.

svn path=/main/trunk/; revision=9741

Handle empty KEYWORDS in the Packages file.

svn path=/main/trunk/; revision=9740

Fix broken IUSE defaults handling when filtering USE for the Packages file.

svn path=/main/trunk/; revision=9739

Move all the --update greedy slot logic to depgraph.select_files().

svn path=/main/trunk/; revision=9738

Move virtuals logic from DepcheckCompositeDB.match() to
depgraph._iter_atoms_for_pkg() since it's more generally
useful there.

svn path=/main/trunk/; revision=9737

Fix variable name collision in DepcheckCompositeDB.match().

svn path=/main/trunk/; revision=9736

Fix DepcheckCompositeDB.match() so that it doesn't assume that every
DependencyArg instance has an "atom" attribute.

svn path=/main/trunk/; revision=9735

Fix BASH_ARGC and BASH_ARGV offsets some more.

svn path=/main/trunk/; revision=9734

In dump_trace(), fix BASH_ARGV and BASH_ARGC offsets so that they are always
correct wrt eachother. Thanks to Betelgeuse for reporting.

svn path=/main/trunk/; revision=9733

Fix java.eclassesnotused logic. Thanks to Betelgeuse.

svn path=/main/trunk/; revision=9732

Rename the CompositDbapi class to DepcheckCompositeDB since it's really
a special pupose class just for dep_check() and it doesn't implement the
full dbapi interface.

svn path=/main/trunk/; revision=9731

Fix the CompositDbapi.match() logic wrt "selective" behavior and installed
packages so that it correctly handles false argument matches due to PROVIDE
when a corresponding new-style virtual exists.

svn path=/main/trunk/; revision=9729

only preserve libraries if no copy exists in the libary search path (bug #215242)

svn path=/main/trunk/; revision=9728

* Use type -P which does not produce messages to stderr.
  another option is to redirect both stderr and out.
* Avoid &> replace with > ... 2>&1
Thanks to Alon Bar-Lev for this patch.

svn path=/main/trunk/; revision=9727

preserve order of ebuild messages even between different message types (bug #197905)

svn path=/main/trunk/; revision=9726

Clarify --with-bdeps behavior with example. Thanks to Griffon26 for
this patch.

svn path=/main/trunk/; revision=9725

When necessary, make quickpkg add missing metadata to the vdb entry before
creating the binary package.

svn path=/main/trunk/; revision=9723

Handle a potential InvalidDependString exception inside
CompositeDbapi.match().

svn path=/main/trunk/; revision=9720

Bug #216328 - Fix broken --newuse reinstallation logic.

svn path=/main/trunk/; revision=9718

Fix the depgraph package selection cache to update the "existing node"
state of packages if they've been added to the graph since the last
call.

svn path=/main/trunk/; revision=9717

Fix a typo.

svn path=/main/trunk/; revision=9716

Memoize package selection results in the depgraph for better performance.

svn path=/main/trunk/; revision=9715

Remove "selective" depgraph logic from dep_zapdeps() since it's now
handled by CompositeDbapi.

svn path=/main/trunk/; revision=9714

Replace the depgraph's fakedbapi of visible packages with a new
CompositeDbapi that is implemented on top of the depgraph's
existing package selection logic.

svn path=/main/trunk/; revision=9713

In dbapi.move_ent(), never assume that any of the expected metadata
entries exist (PF, CATEGORY, or *.ebuild).

svn path=/main/trunk/; revision=9712

Add missing "the" to fix grammar.

svn path=/main/trunk/; revision=9710

* In the event that a previously installed package has since been masked,
  emerge will no longer perform an automatic downgrade as part of a "world"
  update. You should either unmask such packages or else explicitly re-merge
  them in order to have them dowgraded to an unmasked version.

svn path=/main/trunk/; revision=9708

Adjust newlines whitespace masked packages display.

svn path=/main/trunk/; revision=9706

Display the note referencing "masked packages" docs when there are
installed masked packages to display.

svn path=/main/trunk/; revision=9705

Fix a typo in the depclean USE flag handling when populating the
digraph for bug #201045.

svn path=/main/trunk/; revision=9702

Fix a typo.

svn path=/main/trunk/; revision=9700

When the user has given --depclean a list of atoms to clean, pull all
installed packages into the graph (not just those traversable from system
or world) to ensure that packages can not be uninstalled unless nothing
requires them.

svn path=/main/trunk/; revision=9699

Decrease priority on --onlydpes dependencies so that
--buildpkgonly hasallzeros() works correctly.

svn path=/main/trunk/; revision=9697

Add missing DepPriority instances to the graph so that the --buildpkgonly
hasallzeros() calculation works correctly again.

svn path=/main/trunk/; revision=9696

Eliminate a redundant atom from the --update greedy slot expansion code.

svn path=/main/trunk/; revision=9695

Fix package selection logic so that it always properly finds the highest
available version in a new slot even though the graph already contains
a matching version in a lower slot.

svn path=/main/trunk/; revision=9693

Add missing str.upper() call for PORTAGE_FETCH_RESUME_MIN_SIZE.

svn path=/main/trunk/; revision=9691

If PORTAGE_FETCH_RESUME_MIN_SIZE is undefined or empty, silently use
the default.

svn path=/main/trunk/; revision=9689

Implement a PORTAGE_FETCH_RESUME_MIN_SIZE variable that is useful for
helping to ensure that small garbage files such as html 404 pages are
properly discarded.

svn path=/main/trunk/; revision=9687

For old-style virtuals, we need to repeat the package.provided
check against the selected package.

svn path=/main/trunk/; revision=9685

In cpv_expand(), if the virtuals file contains a versioned atom (like
the base profile currently has for virtual/pam), properly remove the
operator and version from the atom before it is passed into
dbapi.cp_list().

svn path=/main/trunk/; revision=9683