Use /proc/<pid>/fd for solaris compat, bug 474536

Python 3.1: pass bytes to Popen

For Python 3.1, it's possible to pass bytes to Popen as long as the
executable has an absolute path, since otherwise we would trigger a
TypeError in os._execvp (see http://bugs.python.org/issue8513).

Note that Python <=3.1.3 produces the following message:

  TypeError: expected an object with the buffer interface

Later 3.1.x releases produce a different message:

  TypeError: startswith first arg must be bytes or a tuple of bytes, not str

The difference in messages is due to os.path.join() implementation
changes, but both errors are triggered by the same underlying bug in
os._execvp() which was fixed by using fsencode() in this hunk:

--- a/Lib/os.py
+++ b/Lib/os.py
@@ -355,7 +355,11 @@ def _execvpe(file, args, env=None):
         return
     last_exc = saved_exc = None
     saved_tb = None
-    for dir in get_exec_path(env):
+    path_list = get_exec_path(env)
+    if name != 'nt':
+        file = fsencode(file)
+        path_list = map(fsencode, path_list)
+    for dir in path_list:
         fullname = path.join(dir, file)

find_binary: return bytes when input is bytes

emerge-webrsync: fetch_file rm absolute path

emerge-delta-webrsync: clean TMPDIR more

emerge-delta-webrsync: check full snapshot sig

This patch merges a lot of code from emerge-webrsync, so that the same
code is used when it's necessary to download a full snapshot and check
the signature. This will fix bug #286373.

FEATURES=xattr: wrap install binary, bug #465000

The install wrapper is added to PATH only when FEATURES=xattr is
enabled, and the wrapper respects PORTAGE_XATTR_EXCLUDE.

install.py: add bash wrapper for python script

The wrapper is needed in order to support the PORTAGE_PYTHON variable,
and also safe python imports (see bug #469338).

install.py: use surrogateescape for Python >=3.2

We can't trust that the filesystem encoding (locale dependent)
correctly matches the arguments, so use surrogateescape to
pass through the original argv bytes for Python 3.
Since Python <3.2 does not support bytes in Popen args, trust
the locale in that case.

Normalize EPREFIX more.

install.py: add note about parse_known_args

install.py: Python 2.6 and 3.1 optparse compat

install.py wrapper for xattrs, bug #465000

Decode sys.argv with surrogateescape for Python 3

With Python 3, the surrogateescape encoding error handler makes it
possible to access the original argv bytes, which can be useful
if their actual encoding does no match the filesystem encoding.

chpathtool: fix mime_type TypeError, bug #473892

emirrordist: wget --no-check-certificate

Use --no-check-certificate since Manifest digests should provide
enough security, and certificates can be self-signed or whatnot.

Test cross-prefix best/has_version --host-root.

Fix cross-prefix bugs, and test.

* Fix create_trees to correctly handle the case where ROOT=/ for two
  different EPREFIX offsets.
* For best/has_version, handle the case where ROOT=/ for bug prefixes,
  though each has a different EPREFIX offset.
* Use portage.const.EPREFIX for default EMERGE_LOG_DIR offset, which
  is analogous to existing un-prefixed behavior.
* Use portage.const.EPREFIX for default PORTAGE_CONFIGROOT, which is
  analogous to existing un-prefixed behavior.
* Add cross-prefix cases to emerge tests, including chpathtool for
  binpkgs.

depgraph: fix installed/newuse logic more

The matched_pkgs_ignore_use logic, introduced in commit
dc8d70479dfb54a1f2561ba3fe82d7a62d97964f, is questionable because we
need to ensure that an installed package can be selected if there are
no other available packages that match a given USE-dep.

depgraph: fix --exclude/--newuse interaction

This fixes a case where an installed package could possibly be rejected
due to --newuse, even though it was selected by --exclude. The problem
may have been triggered randomly by differences in graph traversal
order, which may have been affected by hash randomization (enabled by
default since Python 3.3).

RepoConfigLoader: fix last commit

RepoConfigLoader: handle equal priorities

Include repo.name in sort key, for predictable sorting even when
priorities are equal.

RepoConfig: safe config for repoman/egencache

For repoman/egencache, omit local configuration overrides involving
aliases, eclass-overrides, and masters.

RepoConfigLoader: handle invalid repos.conf more

RepoConfigLoader: initialize missing_repo_names

RepoConfigLoader: return early for parse error

The configparser state is unreliable (prone to odd quirky exceptions)
after is has thrown an error, so just return early.

RepoConfigLoader: handle configparser.Error

RepoConfigLoader: pass source arg to read_file

The 'source' keyword argument is needed since otherwise ConfigParser
may throw a TypeError because it assumes f.name is a native string
rather than binary when constructing error messages.

RepoConfigLoader: refer to make.globals in comment

RepoConfigLoader: suppress /usr/portage warning

Suppress warnings for the make.defaults PORTDIR setting if we have an
existing main-repo defined in repos.conf.

RepoConfigLoader: main-repo priority before sort

Add cross-prefix support

This patch series adds support for using a portage installed in one prefix
to build packages with a different prefix.

The current portage has a single EPREFIX variable specifying both the prefix
of the portage installation, and the prefix of the packages portage is
building. This patch series splits it into two parts: the
portage.const.EPREFIX variable specifying the prefix of the portage
installation, used for constructing the PATH as well as the paths to files
belonging to a portage installation itself rather than a target root; and the
 EPREFIX setting in config instances, specifying the prefix of the
to-be-built packages and being used for almost everything else.

The EPREFIX config setting defaults to const.EPREFIX, but can be overridden
by the EPREFIX environment variable, as well as the emerge --prefix option.
This allows one to install systems with different prefixes using
`EPREFIX=/foo emerge @system`, though some unrelated changes need to happen
elsewhere first in order to make that a reality.

Ruud Koolen (3):
  Distinguish between portage prefix and package prefix
  Based GLOBAL_CONFIG_PATH and DEPCACHE_PATH on portage prefix
  Pick up EPREFIX environment variable

portage.5: repos.conf: document priority

RepoConfigLoader: fix main-repo priority default

This ensures that the main-repo default priority is set to -1000
in all cases where it's appropriate.

portage.5: repos.conf: document main-repo

RepoConfigLoader: delete repo if location missing

RootConfig.update: call delattr when appropriate

RootConfig: mtimedb AttributeError, bug #473710

action_build: remove useless --ask autoclean

This autoclean invocation would should have no effect anyway, unless
the vdb happens to be in an inconsistent state due to a previously
interrupted emerge (relatively rare).

Show blocker parents for non slot-conflict pkgs.

Show parents for packages involved in blocker conflicts but not
directly involved in slot conflicts, since this information may be
helpful for troubleshooting blocker conflicts. This information had
been hidded when there were unrelated simultaneous slot conflicts,
since commit 77b651300731ec007cd535a83b8ee9a898602783.

run_action: use emerge_config attrs, not locals

Show unevaluated atom in blocker parent display.

emerge --autounmask-write: chk_updated_cfg_files

Instead of suggesting to call dispatch-conf, call chk_updated_cfg_files
in order to display a config update message when appropriate.

man/make.conf.5: mention RSYNC_PROXY

_emerge_config: simplify __getitem__

_emerge_config: implement __iter__

dep_check: remove redundant list copy

There's no need to copy the list before calling dep_wordreduce, since
dep_wordreduce copies the list internally.

man/portage.5: remove /etc/make.conf references

Since /etc/portage/make.conf supersedes /etc/make.conf, there's no need
to mention /etc/make.conf here anymore (it's still mentioned in
make.conf(5) though).

emerge_main: call portdbapi destructors

match_from_list: =* op with revision, bug #467826

emerge_main: hold large objects in emerge_config

This allows emerge_main to avoid having direct local references to
large local objects (like "settings" and "trees"), making it easier to
ensure that stale objects can be garbage collected when other functions
refresh the config with calls to load_emerge_config(). This will be
much more flexible than the "gc_locals" approach that was introduce in
commit e9fd283aedf54e2effc73f4157524fe9a26993c0.

emerge --metadata/regen: flush portdbapi cache

close_portdbapi_caches: portage.db atexit hook

The python interpreter does _not_ guarantee that destructors are
called for objects that remain when the interpreter exits, so we
use an atexit hook to call destructors for any global portdbapi
instances that may have been constructed.

porttree._dummy_list: fix infinite recursion

_iter_match_use: construct _pkg_str instances

Now _match_use does not have to construct them itself.

cache/template.py: call self.sync() from __del__

This allows portdbapi.portdbapi_instances to be eliminated, which is
nice because we no longer has to be so careful to avoid memory leaks
involving this variable. It was not just annoying for portage
internals, but also for any API consumers that needed to create/destroy
many portdbapi instances.

portage.dbapi.dbapi._match_use(): Use _emerge.Package.Package._iuse.get_real_flag().

It fixes support for USE aliases in:
  best_version
  has_version
  emerge --keep-going
  emerge --resume

portage.package.ebuild._config.UseManager.UseManager.getUseAliases(): Accept pkg argument of type str.

treewalk: skip CHOST warning for binary packages

The CHOST of a binary package does not necessarily match the make.conf
setting, especially if ACCEPT_CHOSTS is configured to match other CHOST
values.

depgraph.display(): handle reverse for --tree

This factors --tree logic out of the calling code, and allows
optimization of _show_merge_list to use reference comparison instead
of == comparison. Also, deprecate the unused depgraph.altlist()
"reversed" parameter, due to builtin name collision.

depgraph: tuple display list, avoid copies

TODO: Optimize _show_merge_list to use reference comparison more
instead of == comparison.

depgraph: buidpkgonly error earlier, bug #471910

repoman: deprecate mono.eclass, bug #471184

_find_bad_atoms: use insert_category_into_atom

This shares/aligns logic with is_valid_package_atom.

Atom: handle invalid */foo-version wildcard

Before, a wildcard atom could be treated as valid even though it
specified a version without an operator, as reported at here:

https://forums.gentoo.org/viewtopic-p-7314746.html#7314746

repoman: check for deprecated EAPIs, bug #470670

This adds support for repo.eapi.banned (fatal) and repo.eapi.deprecated
(warning) checks which are controlled by eapis-banned and
eapis-deprecated settings in a repository's metadata/layout.conf.

man/emerge.1: --resume uses mtimedb

fetch: correctly handle file name without scheme

Before, the file name would be passed directly to FETCHCOMMAND as
though it were a valid URI. Now, FETCHCOMMAND will only be called when
there is a valid URI or a mirror to try.

ecompressdir: indirect symlinks, bug #470916

*_DEFAULT_OPTS: shlex for embedded quotes

EMERGE_DEFAULT_OPTS: shlex for embedded quotes

test_getconfig: sync FETCHCOMMAND_SFTP/SSH

Fix RESTRICT=test message for bug #469332.

Support PORTAGE_SSH_OPTS, bug #470002.

Additional ssh options to be used when portage executes ssh or sftp.
This variable supports use of embedded quote characters to quote
whitespace or special shell characters within arguments (embedded
quotes must be escaped in make.conf settings).

RELEASE-NOTES: ACCEPT_RESTRICT in 2.1.12

Flag  -Wsizeof-pointer-memaccess warnings.

This will fix bug #470224.

docs: metadata/cache is now md5-cache bug #470154

JobStatusDisplay: fix tigetstr for pypy-2.0_beta2

This will fix bug #470258.

EbuildBuild: don't digest if fetch failed

Fix emerge --fetch --digest for bug #470238.

doebuild: fix emerge --fetchonly FEATURES=digest

This removes obsolete parallel-fetch code which is no longer needed,
since EbuildFetcher no longer calls doebuild.

man/make.conf.5: SYNC ssh examples, bug #470152

PORTAGE_BINHOST: sftp with FETCHCOMMAND_SFTP

Do not generate the sftp command for downloading the Packages file, and
simply use the FETCHCOMMAND_SFTP setting.

repoman: use FETCHCOMMAND for metadata.dtd

man/ebuild.5: note that PROVIDE is deprecated

dispatch-conf: fix python2-style print call

archive-conf: rename vars to avoid builtin names

Remove unused imports, bug #469022

Default FEATURES=preserve-libs for portage-2.1.12

PORTAGE_BINHOST: https FETCHCOMMAND, bug #469888

Don't use urlopen for https, since it doesn't support
certificate/hostname verification (bug #469888).

env_update: ensure_dirs, encode filename

env-update: change prelink to use /etc/prelink.conf.d/portage.conf

Newer prelinks can support /etc/prelink.conf.d/ files.  So that prelink
can install /etc/prelink.conf and manage it itself, have env-update only
write /etc/prelink.conf.d/portage.conf instead of clobbering the main
/etc/prelink.conf file.

This should be backwards compatible as portage will conditionally change
/etc/prelink.conf to use the new /etc/prelink.conf.d/ too.

URL: http://bugs.gentoo.org/266855
Signed-off-by: Mike Frysinger <vapier@gentoo.org>

dohtml: restore cwd for __helpers_die

dohtml: safe cwd, bug #469338

check-implicit-pointer-usage: safe cwd bug 469338

filter_readonly_variables: safe cwd, bug #469338

ebuild.sh: use PORTAGE_PYM_PATH as default cwd

ebuild-ipc: use safe cwd for import, bug #469338

metadata.dtd: update to latest

binarytree: evaluate RESTRICT conditionals