_find_libs_to_preserve: always return set

preserve-libs: check for broken linkmap more

_pkg_visibility_check: if in graph then visible

_LockProcess.unlock: assert successful returncode

etc-update: clear term when appropriate

This solves an issue like bug #142508, but involving etc-update instead
of dispatch-conf. This is also relevant to bug #70668, which is the
same issue, though the reporter suggested to use colors to delimit the
output instead of using clear.

--autounmask-write: use CONFIGROOT more

Fix a typo in a comment.

digraph: implement __bool__

depgraph._resolve: use temp set for autounmask

display_autounmask: optimize check_if_latest

test_asynchronous_lock: simulate SIGINT from tty

AsynchronousTask: tweak poll() logic

AsynchronousLock: implement _poll() and test

test_asynchronous_lock: test returncode more

test_asynchronous_lock: test wait and cancel

test_asynchronous_lock: test waiting

test_autounmask: test missing keyword

Update timestamps in headers of modified files.

--autounmask-write: don't write hidden files

--autounmask-write: use CONFIGROOT and EROOT

--autounmask-write: handle non-existent file

--autounmask-write: only prompt when necessary

--autounmask-write: handle config file recursion

Document that --autounmask is enabled by default.

Enable --autounmask by default

--autounmask-write: respect --ask

BinpkgFetcher: handle AsynchronousLock failure

EbuildBuildDir: handle AsynchronousLock failure

_LockProcess: handle process failure more

_LockProcess: handle process failure if cancelled

preserve-libs: lock vardb for removeFromContents

Revert "counter_tick_core: don't lock if parallel-install"

This reverts commit 405ad9eed65393205ec28af8772f7ea45ce0371e.
The root problem is fixed by commit
8380ec9d7590a47b912e0d1e1db2ebb6049b903b.

treewalk: unlockdb/lockdb typo triggers EDEADLK

make.conf.txt: remove because unused/unmaintained

Fix some typos.

--autounmask: Treat missing keywords as masks

--autounmask: Allow package.mask changes

Implement --autounmask-write

Enabling this option together with --autounmask writes proposed
changes to config files, honoring CONFIG_PROTECT.

counter_tick_core: don't lock if parallel-install

This is the same as commit 461564ae94ff936918eeaa18493bc1da3846796f
but this time with comments that make sense.

EbuildMerge: inherit from CompositeTask

EbuildPhase: fix locking for setup phase

EbuildPhase: AsynchronousLock for ebuild-locks

Use vardbapi.lock() where applicable.

movefile: handle EEXIST when os.symlink fails

Revert "counter_tick_core: don't lock if parallel-install"

This reverts commit 461564ae94ff936918eeaa18493bc1da3846796f.
Disabling the lock here doesn't really make sense, and I'm still
triggering EDEADLK is some other places.

preserve-libs: use vardbapi _fs_lock/unlock

The preserve-libs code is too dependent on the filesystem state to
allow merging/unmerge/env_update to execute concurrently.

vardbapi: add reentrant _fs_lock/unlock methods

_LibGraphNode: re-use the _key attribute

This allows us to avoid repeating any previous stat calls, which helps
to avoid potential race conditions due to inconsistent stat results
when the file system is being modified concurrently.

counter_tick_core: don't lock if parallel-install

Hopefully this avoids the following exception:

  File "/usr/lib/portage/pym/portage/locks.py", line 138, in lockfile
    fcntl.lockf(myfd, fcntl.LOCK_EX)
IOError: [Errno 35] Resource deadlock avoided

Fix a typo in a comment.

find_unused_preserved_libs: fix unmerge handling

Since commit c64d4abee145d083c70273be8fd23bd56dffe7ec (bug #286714),
preserved libs have not been properly garbage collected when packages
are unmerged without replacement, due to a difference in LinkageMap
state. It should behave correcly now.

prune_plib_registry: display preserved libs

Since commit c64d4abee145d083c70273be8fd23bd56dffe7ec, sometimes we
preserve libs for unmerged packages here (bug #286714), so we should
display them like we do in _add_preserve_libs_to_contents().

treewalk: fix plib_collisions with same cpv

--autounmask: Use >= atoms if possible

If the package is the latest avaiable it now uses >=cat/pkg-ver instead
of =cat/pkg-ver. If the package is not the latest, but the latest in
its slot, >=cat/pkg-ver:slot is used. In all other case =cat/pkg-ver
is used. Rational is that it's more likely that newer versions, added
in the future, will work with the same configuration changes as the
currently latest version than not.

preserve-libs: preserve during uninstall

This will fix bug #286714. The emerge --depclean-lib-check option will
now be ignored when FEATURES=preserve-libs is enabled, since any
libraries that have consumers will simply be preserved.

cache.sqlite: handle readonly more

porttree: use pure volatile cache if necessary

cache.volatile: discard "perms" param

cache.sqlite: handle readonly

expand_new_virt: return early for non-virtual cat

expand_new_virt: skip match for non-virtual cat

treewalk: fix inverted counter init logic

portdbapi: tweak cache permission handling

This is a reponse to the following issue:

  http://code.google.com/p/chromium-os/issues/detail?id=15234

EbuildPhase: extract binpkg env for pkg_pretend

This will fix bug #366939.

unmerge: use frozenset for syslist

depgraph: in complete mode respect --with-bdeps

If you want the graph as complete as possible, now you'll have to use
--with-bdeps=y together with --complete-graph.

dep_check_composite_db: return early from cp_list

Since this implementation is only intended to check for existence of
new-style virtuals, it's a waste of time to return more than one cpv.

depgraph: traverse ignored DEPEND if "complete"

Strip build-time dependencies when they're ignored and we're not in --rebuild mode.

This should improve depgraph calculation performance.

TEST=Ran test suite.
BUG=chromium-os:15144

Change-Id: I9e06817201d7a17ae9b44b424d01c1a2bd89210a

MergeProcess: lock vdb earlier when appropriate

depgraph: don't clear vardbapi cache in _load_vdb

Most of the memory is probably held on the heap by the installed
package instances anyway, and the cache is useful for being inherited
by subprocess in MergeProcess.

get_counter_tick_core: use cpv_all

It's more efficient to use cpv_all since cp_all calls cpv_all anyway,
and calls to cp_list induce additional stat calls.

Cache counter values, avoiding I/O when it doesn't change.

This improves merge times by up to 25%, since looping over the vardb for
each package install is slow.

TEST=Emerge a bunch of packages, notice 25% speed improvement.
BUG=chromium-os:15112

Change-Id: I51dd617219cd1820ceeb702291bd790990995be4

dep_check_composite_db: remove unused _dep_expand

This code has been unused since dep_check started passing
token_class=Atom to use_reduce in commit
c9f7930883d62fc26af72bff0c4623db0bbc8221. Since then, any atoms
without categories are dropped by dep_check because it returns
early after catching an InvalidDependString exception.

dep_check_composite_db: implement cp_list

This is used by dep_check since commit
6f9ee9c508c1506cdf8eb0dc46796dbe30f268db.

config: call _populate_treeVirtuals directly

cpv_expand: avoid old-style virtuals more

dep_check: avoid old-style virtuals code

display_news_notification: don't populate virts

This typically isn't useful anymore, since Gentoo has stopped using
old-style virtuals.

cpv_expand: populate old-style virts on demand

If old-style virtuals code is triggered here and we are given a
vartree, use it to avoid creating a temporary instance.

unmerge: skip getvirtuals() if cat is not virtual

This allows us to avoid triggering the old-style virtual code which
scans /var/db/pkg/*/*/PROVIDE.

unmerge: use expand_new_virt for sys pkg warnings

vardbapi: disable subprocess vdb cache updates

Since commit 7535cabdf2fab76fc55df83643157613dfd66be9,
vardbapi.flush_cache() is often called within subprocesses spawned
from MergeProcess. The _aux_cache_threshold doesn't work as designed
if the cache is flushed from a subprocess like this, can lead to the
vdb cache being flushed for every single merge. This is a waste of
disk IO, so disable vdb cache updates in subprocesses.

LinkageMapELF: remove unused imports

PreservedLibsRegistry: normalize counter as str

Add back cpv_exists check from previous commit.

Remove obsolete others_in_slot plibs code.

This code dates back to commit 79a2ade5a6cb5a6c2d7ace838a39a634265c5522
and the preserve-libs logic was different back then. At that time, the
dblink._preserve_libs() method would earlier register preserved libs
for the new package currently being merged, while the vardb entry was
still a -MERGING- node. Current code does not register preserve_paths
until later, so this others_in_slot code is obsolete.

treewalk: always initialize "needed"

merge_wait_queue: use deque.clear()

resume_depgraph: don't call break_refs in loop

The break_refs call was unnecessary and it broke the state of the
frozen_config instance, causing the following error:

  File "pym/_emerge/depgraph.py", line 1290, in
_wrapped_add_pkg_dep_string
    inst_pkgs = vardb.match_pkgs(atom)
AttributeError: 'vardbapi' object has no attribute 'match_pkgs'

Fix typos in unmerge function.

BUG=none
TEST=Try unmerging some packages.

Change-Id: Ib643ec95b8da14b49a6b519e445fe57f8995c52c

linkmap: use exclude_pkgs for the registry too

Use new vardbapi lock function in FakeVartree.

BUG=none
TEST=Merged some packages with new code. Ran test suite.

Change-Id: Ibb9380122631bf6c79e39691233cfd641931b75a

Be careful with system pkgs + parallel-install.

This should prevent FEATURES=parallel-install from interfering with
the fixes from bug #256616 and bug #259954.

linkmap: check for access before locking vardbapi

Use EROOT with VDB_PATH in recent changes.

Scheduler: add queue for ebuild-locks

Use a separate queue for ebuild-locks when the merge
queue allows more than 1 job (due to parallel-install),
since the portage.locks module does not behave as desired
if we try to lock the same file multiple times
concurrently from the same process.

Add FEATURES=parallel-install for finer locks.

vardbapi: acquire lock during counter_tick_core

Add vardbapi reentrant lock/unlock methods.