_job_delay: prevent accumlation of timeouts

Delay for loadavg after SIGCONT, bug #476104

EbuildPhase: fd_pipes NameError, bug #476312

test_doebuild_fd_pipes: test qmerge

test_doebuild_fd_pipes: test pkg_info

doebuild: support 'nofetch' phase

doebuild: handle tmpdir / returnpid interaction

calc_depclean: use runtime_slot_op priorities

Use sys.__std* streams for fileno().

MergeProcess: flush stderr for traceback

DoebuildFdPipesTestCase: fix docstring

doebuild: fix fd_pipes support, bug #475812

The fd_pipes was previously unsupported with returnpid=False. Now it's
fixed to pass fd_pipes down to the appropriate places.

ForkProcess: flush stderr for traceback

doebuild: deprecate returnpid

This case is not supported, since it bypasses the EbuildPhase class
which implements important functionality (including post phase hooks
and IPC for things like best/has_version and die).

_ignore_satisfied_buildtime: tweak optional

depgraph: tweak slot-operator merge order

This handles circular DEPEND/RDEPEND with one := operator, so that when
both deps are already satisfied by installed packages, the := dep is
given higher priority in merge order.

man/portage.5: clarify package.provided virtuals

doebuild: cleanup returnpid support, bug #475812

The returnpid parameter is no longer deprecated, since it's useful for
API consumers that wish to use the fd_pipes parameter (the fd_pipes
parameter is only respected when returnpid is True).

Disable global spawned_pids (avoid memory leak)

It used to be necessary for API consumers to remove pids from the
global spawned_pids, since otherwise it would accumulate a pids
endlessly. Now, spawned_pids is just an empty dummy list, so for
backward compatibility, ignore ValueError for removal on non-existent
items.

emerge --info: KeyError with ROOT, bug #475778

The KeyError was triggered when calling vardbapi.aux_get() on a
vardbapi instance from the wrong ROOT.

_copyxattr: report attribute name in error

The specific attribute name is often relevant. For example, an issue
with system.nfs4_acl was reported in bug #475496.

repoman: fix PORTDIR{,_OVERLAY} interference

Ensure that the repository corresponding to $PWD overrides a
repository of the same name referenced by the existing PORTDIR
or PORTDIR_OVERLAY settings (broken since commit
eab5b86c2d45765ea718e1e9488dde43c9bbac7e).

RepoConfigLoader: support repos.conf directory

getconfig: share recursion code with grablines

util.listir: simplify and optimize

Use zip() to simplify, and fix "list = list + foo" usage to use
list.extend() or equivalent.

cacheddir: disable cache (avoid memory leak)

The global dircache is no longer supported, since it could
be a memory leak for API consumers. Any cacheddir callers
should use higher-level caches instead, when necessary.

Update comments.

repoman: simplify repo location comparison

repoman: canonical path for repo location compare

Use /proc/self/fd for solaris compat, bug #474536

repoman: dedent generated repos.conf

This fixes a "File contains no section headers" error raised by
configparser with Python 2.

repoman: samefile for repo location comparison

This ensures correct behavior with symlinks.

Stop setting PORTDIR / PORTDIR_OVERLAY in repoman.

portage.repository.config.RepoConfigLoader: Support io.StringIO in paths argument.

portage.repository.config.RepoConfigLoader: Add __contains__().

portage.repository.config.RepoConfigLoader: Fix __delitem__() and unimplement __setitem__().

repoman: re-use repoman_settings.repositories

This avoids constructing a separate instance for each profile.

portage.package.ebuild.config.config(): Add repositories parametre.

portage.repository.config.RepoConfigLoader: Add __setitem__() and __delitem__().

Improve portage.repository.config.RepoConfig.__repr__() for location of DEFAULT repository.

RepoConfigLoader: fix bug #474578

Add man/ru/color.map.5

RepoConfigLoader: don't use ValueError to warn

Handling ValueError can hide tracebacks from unexpected bugs,
so avoid it.

Print error when section name set in repos.conf differs from name set inside repository.

Update notes about aliases, eclass-overrides and masters attributes in repos.conf and layout.conf.

util/__init__.py: enable unicode_literals

Unicode literals are nice for uniformity, but in this file it's more
complex than usual, since Python 2's shlex does not support unicode.
So, use _native_string() for compatibility in this case.

getconfig: convert source IOError to ParseError

Use /proc/<pid>/fd for solaris compat, bug 474536

Python 3.1: pass bytes to Popen

For Python 3.1, it's possible to pass bytes to Popen as long as the
executable has an absolute path, since otherwise we would trigger a
TypeError in os._execvp (see http://bugs.python.org/issue8513).

Note that Python <=3.1.3 produces the following message:

  TypeError: expected an object with the buffer interface

Later 3.1.x releases produce a different message:

  TypeError: startswith first arg must be bytes or a tuple of bytes, not str

The difference in messages is due to os.path.join() implementation
changes, but both errors are triggered by the same underlying bug in
os._execvp() which was fixed by using fsencode() in this hunk:

--- a/Lib/os.py
+++ b/Lib/os.py
@@ -355,7 +355,11 @@ def _execvpe(file, args, env=None):
         return
     last_exc = saved_exc = None
     saved_tb = None
-    for dir in get_exec_path(env):
+    path_list = get_exec_path(env)
+    if name != 'nt':
+        file = fsencode(file)
+        path_list = map(fsencode, path_list)
+    for dir in path_list:
         fullname = path.join(dir, file)

find_binary: return bytes when input is bytes

emerge-webrsync: fetch_file rm absolute path

emerge-delta-webrsync: clean TMPDIR more

emerge-delta-webrsync: check full snapshot sig

This patch merges a lot of code from emerge-webrsync, so that the same
code is used when it's necessary to download a full snapshot and check
the signature. This will fix bug #286373.

FEATURES=xattr: wrap install binary, bug #465000

The install wrapper is added to PATH only when FEATURES=xattr is
enabled, and the wrapper respects PORTAGE_XATTR_EXCLUDE.

install.py: add bash wrapper for python script

The wrapper is needed in order to support the PORTAGE_PYTHON variable,
and also safe python imports (see bug #469338).

install.py: use surrogateescape for Python >=3.2

We can't trust that the filesystem encoding (locale dependent)
correctly matches the arguments, so use surrogateescape to
pass through the original argv bytes for Python 3.
Since Python <3.2 does not support bytes in Popen args, trust
the locale in that case.

Normalize EPREFIX more.

install.py: add note about parse_known_args

install.py: Python 2.6 and 3.1 optparse compat

install.py wrapper for xattrs, bug #465000

Decode sys.argv with surrogateescape for Python 3

With Python 3, the surrogateescape encoding error handler makes it
possible to access the original argv bytes, which can be useful
if their actual encoding does no match the filesystem encoding.

chpathtool: fix mime_type TypeError, bug #473892

emirrordist: wget --no-check-certificate

Use --no-check-certificate since Manifest digests should provide
enough security, and certificates can be self-signed or whatnot.

Test cross-prefix best/has_version --host-root.

Fix cross-prefix bugs, and test.

* Fix create_trees to correctly handle the case where ROOT=/ for two
  different EPREFIX offsets.
* For best/has_version, handle the case where ROOT=/ for bug prefixes,
  though each has a different EPREFIX offset.
* Use portage.const.EPREFIX for default EMERGE_LOG_DIR offset, which
  is analogous to existing un-prefixed behavior.
* Use portage.const.EPREFIX for default PORTAGE_CONFIGROOT, which is
  analogous to existing un-prefixed behavior.
* Add cross-prefix cases to emerge tests, including chpathtool for
  binpkgs.

depgraph: fix installed/newuse logic more

The matched_pkgs_ignore_use logic, introduced in commit
dc8d70479dfb54a1f2561ba3fe82d7a62d97964f, is questionable because we
need to ensure that an installed package can be selected if there are
no other available packages that match a given USE-dep.

depgraph: fix --exclude/--newuse interaction

This fixes a case where an installed package could possibly be rejected
due to --newuse, even though it was selected by --exclude. The problem
may have been triggered randomly by differences in graph traversal
order, which may have been affected by hash randomization (enabled by
default since Python 3.3).

RepoConfigLoader: fix last commit

RepoConfigLoader: handle equal priorities

Include repo.name in sort key, for predictable sorting even when
priorities are equal.

RepoConfig: safe config for repoman/egencache

For repoman/egencache, omit local configuration overrides involving
aliases, eclass-overrides, and masters.

RepoConfigLoader: handle invalid repos.conf more

RepoConfigLoader: initialize missing_repo_names

RepoConfigLoader: return early for parse error

The configparser state is unreliable (prone to odd quirky exceptions)
after is has thrown an error, so just return early.

RepoConfigLoader: handle configparser.Error

RepoConfigLoader: pass source arg to read_file

The 'source' keyword argument is needed since otherwise ConfigParser
may throw a TypeError because it assumes f.name is a native string
rather than binary when constructing error messages.

RepoConfigLoader: refer to make.globals in comment

RepoConfigLoader: suppress /usr/portage warning

Suppress warnings for the make.defaults PORTDIR setting if we have an
existing main-repo defined in repos.conf.

RepoConfigLoader: main-repo priority before sort

Add cross-prefix support

This patch series adds support for using a portage installed in one prefix
to build packages with a different prefix.

The current portage has a single EPREFIX variable specifying both the prefix
of the portage installation, and the prefix of the packages portage is
building. This patch series splits it into two parts: the
portage.const.EPREFIX variable specifying the prefix of the portage
installation, used for constructing the PATH as well as the paths to files
belonging to a portage installation itself rather than a target root; and the
 EPREFIX setting in config instances, specifying the prefix of the
to-be-built packages and being used for almost everything else.

The EPREFIX config setting defaults to const.EPREFIX, but can be overridden
by the EPREFIX environment variable, as well as the emerge --prefix option.
This allows one to install systems with different prefixes using
`EPREFIX=/foo emerge @system`, though some unrelated changes need to happen
elsewhere first in order to make that a reality.

Ruud Koolen (3):
  Distinguish between portage prefix and package prefix
  Based GLOBAL_CONFIG_PATH and DEPCACHE_PATH on portage prefix
  Pick up EPREFIX environment variable

portage.5: repos.conf: document priority

RepoConfigLoader: fix main-repo priority default

This ensures that the main-repo default priority is set to -1000
in all cases where it's appropriate.

portage.5: repos.conf: document main-repo

RepoConfigLoader: delete repo if location missing

RootConfig.update: call delattr when appropriate

RootConfig: mtimedb AttributeError, bug #473710

action_build: remove useless --ask autoclean

This autoclean invocation would should have no effect anyway, unless
the vdb happens to be in an inconsistent state due to a previously
interrupted emerge (relatively rare).

Show blocker parents for non slot-conflict pkgs.

Show parents for packages involved in blocker conflicts but not
directly involved in slot conflicts, since this information may be
helpful for troubleshooting blocker conflicts. This information had
been hidded when there were unrelated simultaneous slot conflicts,
since commit 77b651300731ec007cd535a83b8ee9a898602783.

run_action: use emerge_config attrs, not locals

Show unevaluated atom in blocker parent display.

emerge --autounmask-write: chk_updated_cfg_files

Instead of suggesting to call dispatch-conf, call chk_updated_cfg_files
in order to display a config update message when appropriate.

man/make.conf.5: mention RSYNC_PROXY

_emerge_config: simplify __getitem__

_emerge_config: implement __iter__

dep_check: remove redundant list copy

There's no need to copy the list before calling dep_wordreduce, since
dep_wordreduce copies the list internally.

man/portage.5: remove /etc/make.conf references

Since /etc/portage/make.conf supersedes /etc/make.conf, there's no need
to mention /etc/make.conf here anymore (it's still mentioned in
make.conf(5) though).

emerge_main: call portdbapi destructors

match_from_list: =* op with revision, bug #467826

emerge_main: hold large objects in emerge_config

This allows emerge_main to avoid having direct local references to
large local objects (like "settings" and "trees"), making it easier to
ensure that stale objects can be garbage collected when other functions
refresh the config with calls to load_emerge_config(). This will be
much more flexible than the "gc_locals" approach that was introduce in
commit e9fd283aedf54e2effc73f4157524fe9a26993c0.

emerge --metadata/regen: flush portdbapi cache

close_portdbapi_caches: portage.db atexit hook

The python interpreter does _not_ guarantee that destructors are
called for objects that remain when the interpreter exits, so we
use an atexit hook to call destructors for any global portdbapi
instances that may have been constructed.