Add some sanity checks and error tolerance in the owners cache.

svn path=/main/trunk/; revision=10633

Fix typo.

svn path=/main/trunk/; revision=10631

Fix typo.

svn path=/main/trunk/; revision=10628

Fix missing initialization.

svn path=/main/trunk/; revision=10626

Remove unused PackageVirtualDbapi.__getitem__() method.

svn path=/main/trunk/; revision=10612

Add CONTENTS indexing support for optimization of owner lookups. The
vardbapi cache maintains a hash table (inside vdb_metadata.pickle)
that serves to index package contents by mapping the basename of file
to a list of possible packages that own it. This is used to optimize
owner lookups by narrowing the search down to a smaller number of
packages. It increases the size of vdb_metadata.pickle by approximately
30% and it's used in the following cases:

 * When an unexpected file collision occurs (whether
   or not collision-protect is enabled)

 * `emerge <filename>`

 * `portageq owners`

The

svn path=/main/trunk/; revision=10609

When inside fakeroot, directories with portage's gid appear
to have root's gid. Therefore, use root's gid instead of
portage's gid to avoid spurrious permissions adjustments
when inside fakeroot.

svn path=/main/trunk/; revision=10608

make sure that scanelf is called with the right paths, and properly register all preserved objects to fix bug #223591

svn path=/main/trunk/; revision=10607

Bug #225285 - Allow digestcheck() to succeed when the Manifest is missing
and strict mode is disabled.

svn path=/main/trunk/; revision=10604

Make portdbapi.aux_get() return float type for _mtime_.

svn path=/main/trunk/; revision=10603

Add additional functions such as eaclocal and eautoheader to the
inherit.autotools regex. Thanks to Arfrever.

svn path=/main/trunk/; revision=10602

Fix typo.

svn path=/main/trunk/; revision=10601

Make repoman pass Package instances into run_checks(), so that the checks
can use the Package.mtime and inherited attributes.

svn path=/main/trunk/; revision=10600

Inside, create_trees(), pass target_root="/" into the config constructor
when necessary to override the setting in make.conf.

svn path=/main/trunk/; revision=10598

Validate ROOT from make.conf.

svn path=/main/trunk/; revision=10596

Make load_emerge_config() filter out empty PORTAGE_CONFIGROOT and ROOT
values, and those containing only whitespace.

svn path=/main/trunk/; revision=10594

Bug #224271 - New check 'IUSE.undefined', renamed from generic
'ebuild.minorsyn'.

svn path=/main/trunk/; revision=10593

As suggested by Flameeyes, add a new 'inherit.autotools' check which warns
when autotools has been inherited but none of the eautomake, eautoconf or
eautoreconf functions are called like they are supposed to be.

svn path=/main/trunk/; revision=10592

remove old/unused gen_wrapper function

svn path=/main/trunk/; revision=10591

Bug #224271 - Add a 'IUSE is not defined' ebuild.minorsyn warning.

svn path=/main/trunk/; revision=10589

Add a PackageVirtualDbapi.__getitem__() method.

svn path=/main/trunk/; revision=10588

Add Package.counter and mtime attributes.

svn path=/main/trunk/; revision=10587

Add vardbapi.aux_get() support for an "_mtime_" value which corresponds to
the installed package directory's mtime (numeric value from stat result).
This value can be used to validate indexes or caches used in the optimization
of vdb query operations for various types of package metadata such as
dependencies and file contents.

svn path=/main/trunk/; revision=10586

Bug #224713 - Avoid TypeError when make.conf is missing:
TypeError: argument of type 'NoneType' is not iterable

svn path=/main/trunk/; revision=10582

Mention PORTAGE_RO_DISTDIRS in the DISTDIR docs.

svn path=/main/trunk/; revision=10580

Use sets for more accurate cache modification counts BlockerCache and vardbapi.

svn path=/main/trunk/; revision=10578

Use platform module to make it clear what we're displaying.  Instead of
an 'uname -mrp' call use platform.platform() to describe the system in
emerge --info. (branches/prefix r10555)

svn path=/main/trunk/; revision=10575

Use "platform" module instead of os.uname, or -- even worse -- a system
call to uname.  Change repoman's identification string not to use
"processor" on Linux (where it is huge), Interix (where it doesn't
exist) and AIX/HP-UX (where it prints "unknown"), but "machine" instead.
(branches/prefix r10554)

svn path=/main/trunk/; revision=10574

Fix typo.

svn path=/main/trunk/; revision=10566

Use a distdir_writable variable in fetch(), for better control of write
operations inside ${DISTDIR}.

svn path=/main/trunk/; revision=10564

Update --depclean and package.provided docs to indicate interaction
between them.

svn path=/main/trunk/; revision=10563

Make PackagesSystemSet.description refer to the real profile rather than
/etc/portage/profile when possible.

svn path=/main/trunk/; revision=10561

Avoid an unhandled IndexError thrown from the PackagesSystemSet constructor
when neither /etc/make.profile nor /etc/portage/profile exist.

svn path=/main/trunk/; revision=10560

Fix regex for compatibility with the regex implementation from FreeBSD's
libc (used by bash on FreeBSD). Thanks to Alexis Ballier <aballier@g.o>
for the patch.

svn path=/main/trunk/; revision=10558

Tweak the installed masked code from bug #223447 so that it less noisy
by suppressing masking messages for packages that haven't been pulled
into the current dependency graph.

svn path=/main/trunk/; revision=10553

Fix typo.

svn path=/main/trunk/; revision=10552

When pruning the digests to optimize parallel-fetch, use a separate dict
so that the original digests are still available if a file needs to be
downloaded.

svn path=/main/trunk/; revision=10551

Use float mtime instead of int for finer granularity in vardbapi.match()
cache staleness checks.

svn path=/main/trunk/; revision=10550

Add modification threshold for BlockerCache.flush(), to avoid wasteful IO.

svn path=/main/trunk/; revision=10549

Fix vardbapi.flush_cache() so that it only updates the cache when the
number of uncached packages reaches a certain threshold (currently 5).
The cache file can be several megabytes in size, so updating it for
every vdb change is wasteful.

svn path=/main/trunk/; revision=10548

Add support for a PORTAGE_RO_DISTDIRS variable. When a given file does not
exist in DISTDIR, search for the file in this list of directories. Search
order is from left to right. Note that the current implementation works by
creating a symlink inside DISTDIR, but that may change in the future.

svn path=/main/trunk/; revision=10547

Don't unset PORTAGE_BINPKG_FILE because it's readonly.

svn path=/main/trunk/; revision=10546

Filter PORTAGE_BINPKG_FILE in save_ebuild_env().

svn path=/main/trunk/; revision=10541

Fix typo.

svn path=/main/trunk/; revision=10538

Mention masked packages in another --resume message.

svn path=/main/trunk/; revision=10535

Reference depgraph.UnsatisfiedResumeDep instead of mydepgraph since the
latter can trigger an UnboundLocalError in some cases (^C for example).

svn path=/main/trunk/; revision=10533

Update the --skipfirst dropped packages warning to mention "masking"
in addition to unsatisfied dependencies.

svn path=/main/trunk/; revision=10532

Update the UnsatisfiedResumeDep display to distinguish masked packages
from those with unsatisfied dependencies.

svn path=/main/trunk/; revision=10529

Revert changes wrt argument atoms in the previous commit since it's not
really useful.

svn path=/main/trunk/; revision=10528

Make --skipfirst tolerate masked packages by dropping them (similar to
how it would drop a package that has an unsatisfied dependency).

svn path=/main/trunk/; revision=10526

Fix EditablePackageSet.update() to create Atom instances when necessary.

svn path=/main/trunk/; revision=10525

Make PackageSet._setAtoms() use existing Atom instances when available.

svn path=/main/trunk/; revision=10523

Fix create_world_atom() to take a Package instance in it's arguments.

svn path=/main/trunk/; revision=10521

Add some isvalidatom() test cases with "null" and missing category.

svn path=/main/trunk/; revision=10519

Fix TypeError: 'tuple' object does not support item assignment

svn path=/main/trunk/; revision=10518

* Tweak isvalidatom() to treat "null" category as valid, but missing category
  as invalid (previously both where treated as invalid).

* Fix a spot inside emerge's unmerge() function that sometimes generates
  invalid atoms by adding an unnecessary "=" to the front. Even when in
  cases that resulted in a valid atom here, adding the "=" was redundant
  because dep_expand() does that automatically now (for backward compat).

svn path=/main/trunk/; revision=10516

Clean up reference to parts of the first graph for --skipfirst.

svn path=/main/trunk/; revision=10514

Optimize the new --skipfirst code so that in only has to build
a new depgraph one time when there are unsatisfied deps. This
works by recursively traversing the digraph to remove the parent
packages whose deps become unsatisfied when their dependencies are
pruned from the mergelist.

svn path=/main/trunk/; revision=10513

Fix PackageSet.findAtomForPackage() to find the most specific atom since
it can affect behavior when deciding whether or not to add a slot atom to
the world file.

svn path=/main/trunk/; revision=10511

Now that dbapi._iter_match() is guaranteed to return a real iterator with
a next method(), we can just call next() and handle StopIteration.

svn path=/main/trunk/; revision=10509

For consistency, make sure that a normal iterator is always returned
from dbapi._iter_match() (and never a list). This way the caller can
be sure that the returned object has a next() method.

svn path=/main/trunk/; revision=10507

Make the use_cache=0 listdir() implementation inside vardbapi.cpv_all()
rains a PermissionDenied error when appropriate.

svn path=/main/trunk/; revision=10505

Pass a mutable config instance into get_masking_status(). Currently
it doesn't matter for installed packages but it's safer to be
consistent to avoid accidental breakage in the future.

svn path=/main/trunk/; revision=10503

Make PackageSet.findAtomForPackage() just return the first atom found
since best_match_to_list() won't work correctly for atoms matched
via PROVIDE.

svn path=/main/trunk/; revision=10501

Simplify None Package.slot handling in match_from_list().

svn path=/main/trunk/; revision=10499

Fix Atom attribute handling in get_operator() and dep_getslot() to account
for None return values.

svn path=/main/trunk/; revision=10497

Create Atom instances earlier to avoid redundant validation.

svn path=/main/trunk/; revision=10495

When dropping deps from the resume list, make sure that the loop can't
be infinite.

svn path=/main/trunk/; revision=10493

Use Package.metadata instead of calling dbapi.aux_get().

svn path=/main/trunk/; revision=10491

Use a frozenset instead of a list for containment tests.

svn path=/main/trunk/; revision=10489

Fix typo.

svn path=/main/trunk/; revision=10487

Use izip() to eliminate temporary dict instances.

svn path=/main/trunk/; revision=10485

Clean up references to unsatisfied_parents.

svn path=/main/trunk/; revision=10482

Clean up reference to dropped_tasks when finished.

svn path=/main/trunk/; revision=10481

When --skipfirst drops packages due to unsatisfied dependencies, display
a warning message with the list of dropped packages.

svn path=/main/trunk/; revision=10480

Clean up exception reference from previous commit.

svn path=/main/trunk/; revision=10479

Make --skipfirst handle missing dependencies by dropping the merge tasks
that have missing dependencies. This involves creating an entirely new
depgraph each time that a missing dependency is discovered. This isn't
the most efficient approach but it's simple and it works well.

This new behavior can server as a fix for bug #12768 by calling emerge
--resume --skipfirst each time that emerge exits unsuccessfully. This
was possible before, but now packages with unsatisfied dependencies
will be properly identified and dropped from the list.

svn path=/main/trunk/; revision=10478

Save the content of CONFIG_MEMORY_FILE in dblink.treewalk() _before_
unmerging other instances, in order to avoid overwritting/undoing
the pruning that's done during unmerge.

svn path=/main/trunk/; revision=10476

Make the unmerge time CONFIG_MEMORY_FILE pruning slightly more aggressive,
so that anything not claimed by another package in the same slot is
pruned.

svn path=/main/trunk/; revision=10474

Filter out installed keyword masked packages when populating
RootConfig.visible_pkgs since otherwise such packages can trigger
undesireable results inside depgraph._iter_atoms_for_pkg().

svn path=/main/trunk/; revision=10471

Fix the code from bug #220341 so that it matches the atom against the
installed package, like it's supposed to.

svn path=/main/trunk/; revision=10470

Skip redundant Atom construction in select_package().

svn path=/main/trunk/; revision=10468

Update the fix from bug #220341 to protect USE deps from being neglected.

svn path=/main/trunk/; revision=10467

Bug #223447 - Adjust the "installed packages are masked" display to recognize
packages that are masked by keywords and are eligible for uninstallation by
depclean. This is a workaround for the fact that depclean may fail to
recognize that the package is eligible for uninstall due to differences in
visibility filtering which can lead to differences in || dep evaluation.
TODO: Share visibility code to fix this inconsistency.

svn path=/main/trunk/; revision=10465

Make the new behavior from bug #222439 conditional on EAPI being something
other than 0 or 1.

svn path=/main/trunk/; revision=10462

Make set_term_size() handle the CommandNotFound exception if stty
is missing for some reason.

svn path=/main/trunk/; revision=10461

Convert doman to use bash's =~ operator instead of calling egrep.

svn path=/main/trunk/; revision=10460

Bug #222439 - Add doman support for foo.lang.N filenames. Behavior is
as follows:

 foo.1    -> man/man1/foo.1
 foo.lang.1 -> man/lang/man1/foo.1

Thanks to Yuri Vasilevski for the initial patch. I've modified it to
use bash's =~ operator and corresponding $BASH_REMATCH array.

svn path=/main/trunk/; revision=10459

Fix breakage due to frozenset being immutable.

svn path=/main/trunk/; revision=10455

Fix typo.

svn path=/main/trunk/; revision=10453

Make config._init_dirs() preserver /tmp and /var/tmp permissions if
those directories already exist. This gives freedom to the user to
adjust permissions to suit their taste.

svn path=/main/trunk/; revision=10452

Fix a typo from the previous commit.

svn path=/main/trunk/; revision=10450

Use new Package.use and iuse attributes to avoid extra split() calls.

svn path=/main/trunk/; revision=10448

Set Atom.use = None when there are no USE deps (instead of the empty
tuple returned from dep_getusedeps()).

svn path=/main/trunk/; revision=10447

Repoman only checks IUSE for USE deps, so don't evaluate conditional USE deps
in this case.

svn path=/main/trunk/; revision=10446

Fix dbapi._iter_match_use() to escape IUSE values when necessary.

svn path=/main/trunk/; revision=10445

Fix breakage in the BlockerDB constructor.

svn path=/main/trunk/; revision=10443

Define __slots__ for the _use_dep class.

svn path=/main/trunk/; revision=10441

Fix USE dep matching support in match_from_list() so that it checks
to make sure the package supports all specified IUSE. This involves
updating all Package, FakeVartree, and BlockerDB constructor
arguments to implement a Package.root_config attribute that's used
to access implicit IUSE.

svn path=/main/trunk/; revision=10440

Bug #223685 - Use the finally clause to collect elog messages just
before releasing the build dir lock, so they never get missed.

svn path=/main/trunk/; revision=10438