RepoConfigLoader: main-repo priority before sort

Add cross-prefix support

This patch series adds support for using a portage installed in one prefix
to build packages with a different prefix.

The current portage has a single EPREFIX variable specifying both the prefix
of the portage installation, and the prefix of the packages portage is
building. This patch series splits it into two parts: the
portage.const.EPREFIX variable specifying the prefix of the portage
installation, used for constructing the PATH as well as the paths to files
belonging to a portage installation itself rather than a target root; and the
 EPREFIX setting in config instances, specifying the prefix of the
to-be-built packages and being used for almost everything else.

The EPREFIX config setting defaults to const.EPREFIX, but can be overridden
by the EPREFIX environment variable, as well as the emerge --prefix option.
This allows one to install systems with different prefixes using
`EPREFIX=/foo emerge @system`, though some unrelated changes need to happen
elsewhere first in order to make that a reality.

Ruud Koolen (3):
  Distinguish between portage prefix and package prefix
  Based GLOBAL_CONFIG_PATH and DEPCACHE_PATH on portage prefix
  Pick up EPREFIX environment variable

portage.5: repos.conf: document priority

RepoConfigLoader: fix main-repo priority default

This ensures that the main-repo default priority is set to -1000
in all cases where it's appropriate.

portage.5: repos.conf: document main-repo

RepoConfigLoader: delete repo if location missing

RootConfig.update: call delattr when appropriate

RootConfig: mtimedb AttributeError, bug #473710

action_build: remove useless --ask autoclean

This autoclean invocation would should have no effect anyway, unless
the vdb happens to be in an inconsistent state due to a previously
interrupted emerge (relatively rare).

Show blocker parents for non slot-conflict pkgs.

Show parents for packages involved in blocker conflicts but not
directly involved in slot conflicts, since this information may be
helpful for troubleshooting blocker conflicts. This information had
been hidded when there were unrelated simultaneous slot conflicts,
since commit 77b651300731ec007cd535a83b8ee9a898602783.

run_action: use emerge_config attrs, not locals

Show unevaluated atom in blocker parent display.

emerge --autounmask-write: chk_updated_cfg_files

Instead of suggesting to call dispatch-conf, call chk_updated_cfg_files
in order to display a config update message when appropriate.

man/make.conf.5: mention RSYNC_PROXY

_emerge_config: simplify __getitem__

_emerge_config: implement __iter__

dep_check: remove redundant list copy

There's no need to copy the list before calling dep_wordreduce, since
dep_wordreduce copies the list internally.

man/portage.5: remove /etc/make.conf references

Since /etc/portage/make.conf supersedes /etc/make.conf, there's no need
to mention /etc/make.conf here anymore (it's still mentioned in
make.conf(5) though).

emerge_main: call portdbapi destructors

match_from_list: =* op with revision, bug #467826

emerge_main: hold large objects in emerge_config

This allows emerge_main to avoid having direct local references to
large local objects (like "settings" and "trees"), making it easier to
ensure that stale objects can be garbage collected when other functions
refresh the config with calls to load_emerge_config(). This will be
much more flexible than the "gc_locals" approach that was introduce in
commit e9fd283aedf54e2effc73f4157524fe9a26993c0.

emerge --metadata/regen: flush portdbapi cache

close_portdbapi_caches: portage.db atexit hook

The python interpreter does _not_ guarantee that destructors are
called for objects that remain when the interpreter exits, so we
use an atexit hook to call destructors for any global portdbapi
instances that may have been constructed.

porttree._dummy_list: fix infinite recursion

_iter_match_use: construct _pkg_str instances

Now _match_use does not have to construct them itself.

cache/template.py: call self.sync() from __del__

This allows portdbapi.portdbapi_instances to be eliminated, which is
nice because we no longer has to be so careful to avoid memory leaks
involving this variable. It was not just annoying for portage
internals, but also for any API consumers that needed to create/destroy
many portdbapi instances.

portage.dbapi.dbapi._match_use(): Use _emerge.Package.Package._iuse.get_real_flag().

It fixes support for USE aliases in:
  best_version
  has_version
  emerge --keep-going
  emerge --resume

portage.package.ebuild._config.UseManager.UseManager.getUseAliases(): Accept pkg argument of type str.

treewalk: skip CHOST warning for binary packages

The CHOST of a binary package does not necessarily match the make.conf
setting, especially if ACCEPT_CHOSTS is configured to match other CHOST
values.

depgraph.display(): handle reverse for --tree

This factors --tree logic out of the calling code, and allows
optimization of _show_merge_list to use reference comparison instead
of == comparison. Also, deprecate the unused depgraph.altlist()
"reversed" parameter, due to builtin name collision.

depgraph: tuple display list, avoid copies

TODO: Optimize _show_merge_list to use reference comparison more
instead of == comparison.

depgraph: buidpkgonly error earlier, bug #471910

repoman: deprecate mono.eclass, bug #471184

_find_bad_atoms: use insert_category_into_atom

This shares/aligns logic with is_valid_package_atom.

Atom: handle invalid */foo-version wildcard

Before, a wildcard atom could be treated as valid even though it
specified a version without an operator, as reported at here:

https://forums.gentoo.org/viewtopic-p-7314746.html#7314746

repoman: check for deprecated EAPIs, bug #470670

This adds support for repo.eapi.banned (fatal) and repo.eapi.deprecated
(warning) checks which are controlled by eapis-banned and
eapis-deprecated settings in a repository's metadata/layout.conf.

man/emerge.1: --resume uses mtimedb

fetch: correctly handle file name without scheme

Before, the file name would be passed directly to FETCHCOMMAND as
though it were a valid URI. Now, FETCHCOMMAND will only be called when
there is a valid URI or a mirror to try.

ecompressdir: indirect symlinks, bug #470916

*_DEFAULT_OPTS: shlex for embedded quotes

EMERGE_DEFAULT_OPTS: shlex for embedded quotes

test_getconfig: sync FETCHCOMMAND_SFTP/SSH

Fix RESTRICT=test message for bug #469332.

Support PORTAGE_SSH_OPTS, bug #470002.

Additional ssh options to be used when portage executes ssh or sftp.
This variable supports use of embedded quote characters to quote
whitespace or special shell characters within arguments (embedded
quotes must be escaped in make.conf settings).

RELEASE-NOTES: ACCEPT_RESTRICT in 2.1.12

Flag  -Wsizeof-pointer-memaccess warnings.

This will fix bug #470224.

docs: metadata/cache is now md5-cache bug #470154

JobStatusDisplay: fix tigetstr for pypy-2.0_beta2

This will fix bug #470258.

EbuildBuild: don't digest if fetch failed

Fix emerge --fetch --digest for bug #470238.

doebuild: fix emerge --fetchonly FEATURES=digest

This removes obsolete parallel-fetch code which is no longer needed,
since EbuildFetcher no longer calls doebuild.

man/make.conf.5: SYNC ssh examples, bug #470152

PORTAGE_BINHOST: sftp with FETCHCOMMAND_SFTP

Do not generate the sftp command for downloading the Packages file, and
simply use the FETCHCOMMAND_SFTP setting.

repoman: use FETCHCOMMAND for metadata.dtd

man/ebuild.5: note that PROVIDE is deprecated

dispatch-conf: fix python2-style print call

archive-conf: rename vars to avoid builtin names

Remove unused imports, bug #469022

Default FEATURES=preserve-libs for portage-2.1.12

PORTAGE_BINHOST: https FETCHCOMMAND, bug #469888

Don't use urlopen for https, since it doesn't support
certificate/hostname verification (bug #469888).

env_update: ensure_dirs, encode filename

env-update: change prelink to use /etc/prelink.conf.d/portage.conf

Newer prelinks can support /etc/prelink.conf.d/ files.  So that prelink
can install /etc/prelink.conf and manage it itself, have env-update only
write /etc/prelink.conf.d/portage.conf instead of clobbering the main
/etc/prelink.conf file.

This should be backwards compatible as portage will conditionally change
/etc/prelink.conf to use the new /etc/prelink.conf.d/ too.

URL: http://bugs.gentoo.org/266855
Signed-off-by: Mike Frysinger <vapier@gentoo.org>

dohtml: restore cwd for __helpers_die

dohtml: safe cwd, bug #469338

check-implicit-pointer-usage: safe cwd bug 469338

filter_readonly_variables: safe cwd, bug #469338

ebuild.sh: use PORTAGE_PYM_PATH as default cwd

ebuild-ipc: use safe cwd for import, bug #469338

metadata.dtd: update to latest

binarytree: evaluate RESTRICT conditionals

binarytree: index RESTRICT, for ACCEPT_RESTRICT

Support ACCEPT_RESTRICT for bug #467622.

_getMissingProperties: remove || support

PROPERTIES is not allowed to contain ||, according to PMS.

Silence embedded profile warning for bug #467142.

Support RESTRICT=preserve-libs, bug #364427

Note than when a package is merged, RESTRICT=preserve-libs applies if
*either* the new instance or the old instance sets
RESTRICT=preserve-libs.

Also note that when the user has preserve-libs enabled, the
--depclean-lib-check option may now kick in if one of the packages
selected for unmerge sets RESTRICT=preserve-libs.

man/emerge: clarify --rebuild-if-new-slot #467924

Use non-greedy findConsumers for bug #467896.

This fixes the preserve-libs display and @preserved-rebuild to omit
library consumers that are satisfied by alternative providers.

bin/misc-functions.sh: use pipe for find ${D}${D}

bin/misc-functions.sh: normalize ${D%/}${D} slash

This will fix bug #467886.

repoman: report --ignore/include-arches commits

tests: clean up style a bit (mostly poor/inconsistent spacing)

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

get_open_fds: use /dev/fd or /proc/self/fd

Since /dev/fd is supposed to be a fairly standard unix feature, try
that first.

repoman: add --include-arches, bug #466116

Add man/ru/dispatch-conf.1

man/dispatch-conf.1: reflow text

man/make.conf.5: document DCO_SIGNED_OFF_BY

Signed-off-by: Zac Medico <zmedico@gentoo.org>

Add preliminary DCO_SIGNED_OFF_BY support for DCO Signed-off-by footer.

Signed-off-by: Robin H. Johnson <robbat2@gentoo.org>

Refactor PORTAGE_GPG_KEY.

Signed-off-by: Robin H. Johnson <robbat2@gentoo.org>

Deprecate python.eclass & distutils.eclass.

Don't filter SHELL from bash env, bug #466844.

search: fix RuntimeError: No active exception

bin/ebuild: tweak FEATURES=digest logic

bin/ebuild: only digest once for FEATURES=digest

movefile: remove source symlink/hardlink after mv

refactor contents file writing to its own function

This CL refactors out the functionality of writing a contents dicionary
to file. That functionality is required by a change in the chromeos
chromite repository.

BUG=chromium:229234
TEST=None

Change-Id: I851724408b1d10827eee2ea8d67bdca9ad90c455

repoman: fix random package.use.stable.* failure

It failed to work randomly, since setcpv did not always use the correct
value for the effective ACCEPT_KEYWORDS of the current profile.

depgraph: don't _skip_restart for blockers

This prevents blockers from interfering with backtracking, as reported
in bug #465356, comment #15.

Revert "Add a QA check for systemd unit file install."

This reverts commit dd2d661078771a41d4fd554c2bc3b1188ce7b53e.
Forcing use of a specific eclass is too restrictive. It would be better
to use a variable to control a warning like this. See bug #465562.

man/make.conf.5: noauto sources ebuild each phase

man/emerge.1: move --digest to option section