emerge_main: call portdbapi destructors

match_from_list: =* op with revision, bug #467826

emerge_main: hold large objects in emerge_config

This allows emerge_main to avoid having direct local references to
large local objects (like "settings" and "trees"), making it easier to
ensure that stale objects can be garbage collected when other functions
refresh the config with calls to load_emerge_config(). This will be
much more flexible than the "gc_locals" approach that was introduce in
commit e9fd283aedf54e2effc73f4157524fe9a26993c0.

emerge --metadata/regen: flush portdbapi cache

close_portdbapi_caches: portage.db atexit hook

The python interpreter does _not_ guarantee that destructors are
called for objects that remain when the interpreter exits, so we
use an atexit hook to call destructors for any global portdbapi
instances that may have been constructed.

porttree._dummy_list: fix infinite recursion

_iter_match_use: construct _pkg_str instances

Now _match_use does not have to construct them itself.

cache/template.py: call self.sync() from __del__

This allows portdbapi.portdbapi_instances to be eliminated, which is
nice because we no longer has to be so careful to avoid memory leaks
involving this variable. It was not just annoying for portage
internals, but also for any API consumers that needed to create/destroy
many portdbapi instances.

portage.dbapi.dbapi._match_use(): Use _emerge.Package.Package._iuse.get_real_flag().

It fixes support for USE aliases in:
  best_version
  has_version
  emerge --keep-going
  emerge --resume

portage.package.ebuild._config.UseManager.UseManager.getUseAliases(): Accept pkg argument of type str.

treewalk: skip CHOST warning for binary packages

The CHOST of a binary package does not necessarily match the make.conf
setting, especially if ACCEPT_CHOSTS is configured to match other CHOST
values.

depgraph.display(): handle reverse for --tree

This factors --tree logic out of the calling code, and allows
optimization of _show_merge_list to use reference comparison instead
of == comparison. Also, deprecate the unused depgraph.altlist()
"reversed" parameter, due to builtin name collision.

depgraph: tuple display list, avoid copies

TODO: Optimize _show_merge_list to use reference comparison more
instead of == comparison.

depgraph: buidpkgonly error earlier, bug #471910

repoman: deprecate mono.eclass, bug #471184

_find_bad_atoms: use insert_category_into_atom

This shares/aligns logic with is_valid_package_atom.

Atom: handle invalid */foo-version wildcard

Before, a wildcard atom could be treated as valid even though it
specified a version without an operator, as reported at here:

https://forums.gentoo.org/viewtopic-p-7314746.html#7314746

repoman: check for deprecated EAPIs, bug #470670

This adds support for repo.eapi.banned (fatal) and repo.eapi.deprecated
(warning) checks which are controlled by eapis-banned and
eapis-deprecated settings in a repository's metadata/layout.conf.

man/emerge.1: --resume uses mtimedb

fetch: correctly handle file name without scheme

Before, the file name would be passed directly to FETCHCOMMAND as
though it were a valid URI. Now, FETCHCOMMAND will only be called when
there is a valid URI or a mirror to try.

ecompressdir: indirect symlinks, bug #470916

*_DEFAULT_OPTS: shlex for embedded quotes

EMERGE_DEFAULT_OPTS: shlex for embedded quotes

test_getconfig: sync FETCHCOMMAND_SFTP/SSH

Fix RESTRICT=test message for bug #469332.

Support PORTAGE_SSH_OPTS, bug #470002.

Additional ssh options to be used when portage executes ssh or sftp.
This variable supports use of embedded quote characters to quote
whitespace or special shell characters within arguments (embedded
quotes must be escaped in make.conf settings).

RELEASE-NOTES: ACCEPT_RESTRICT in 2.1.12

Flag  -Wsizeof-pointer-memaccess warnings.

This will fix bug #470224.

docs: metadata/cache is now md5-cache bug #470154

JobStatusDisplay: fix tigetstr for pypy-2.0_beta2

This will fix bug #470258.

EbuildBuild: don't digest if fetch failed

Fix emerge --fetch --digest for bug #470238.

doebuild: fix emerge --fetchonly FEATURES=digest

This removes obsolete parallel-fetch code which is no longer needed,
since EbuildFetcher no longer calls doebuild.

man/make.conf.5: SYNC ssh examples, bug #470152

PORTAGE_BINHOST: sftp with FETCHCOMMAND_SFTP

Do not generate the sftp command for downloading the Packages file, and
simply use the FETCHCOMMAND_SFTP setting.

repoman: use FETCHCOMMAND for metadata.dtd

man/ebuild.5: note that PROVIDE is deprecated

dispatch-conf: fix python2-style print call

archive-conf: rename vars to avoid builtin names

Remove unused imports, bug #469022

Default FEATURES=preserve-libs for portage-2.1.12

PORTAGE_BINHOST: https FETCHCOMMAND, bug #469888

Don't use urlopen for https, since it doesn't support
certificate/hostname verification (bug #469888).

env_update: ensure_dirs, encode filename

env-update: change prelink to use /etc/prelink.conf.d/portage.conf

Newer prelinks can support /etc/prelink.conf.d/ files.  So that prelink
can install /etc/prelink.conf and manage it itself, have env-update only
write /etc/prelink.conf.d/portage.conf instead of clobbering the main
/etc/prelink.conf file.

This should be backwards compatible as portage will conditionally change
/etc/prelink.conf to use the new /etc/prelink.conf.d/ too.

URL: http://bugs.gentoo.org/266855
Signed-off-by: Mike Frysinger <vapier@gentoo.org>

dohtml: restore cwd for __helpers_die

dohtml: safe cwd, bug #469338

check-implicit-pointer-usage: safe cwd bug 469338

filter_readonly_variables: safe cwd, bug #469338

ebuild.sh: use PORTAGE_PYM_PATH as default cwd

ebuild-ipc: use safe cwd for import, bug #469338

metadata.dtd: update to latest

binarytree: evaluate RESTRICT conditionals

binarytree: index RESTRICT, for ACCEPT_RESTRICT

Support ACCEPT_RESTRICT for bug #467622.

_getMissingProperties: remove || support

PROPERTIES is not allowed to contain ||, according to PMS.

Silence embedded profile warning for bug #467142.

Support RESTRICT=preserve-libs, bug #364427

Note than when a package is merged, RESTRICT=preserve-libs applies if
*either* the new instance or the old instance sets
RESTRICT=preserve-libs.

Also note that when the user has preserve-libs enabled, the
--depclean-lib-check option may now kick in if one of the packages
selected for unmerge sets RESTRICT=preserve-libs.

man/emerge: clarify --rebuild-if-new-slot #467924

Use non-greedy findConsumers for bug #467896.

This fixes the preserve-libs display and @preserved-rebuild to omit
library consumers that are satisfied by alternative providers.

bin/misc-functions.sh: use pipe for find ${D}${D}

bin/misc-functions.sh: normalize ${D%/}${D} slash

This will fix bug #467886.

repoman: report --ignore/include-arches commits

tests: clean up style a bit (mostly poor/inconsistent spacing)

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

get_open_fds: use /dev/fd or /proc/self/fd

Since /dev/fd is supposed to be a fairly standard unix feature, try
that first.

repoman: add --include-arches, bug #466116

Add man/ru/dispatch-conf.1

man/dispatch-conf.1: reflow text

man/make.conf.5: document DCO_SIGNED_OFF_BY

Signed-off-by: Zac Medico <zmedico@gentoo.org>

Add preliminary DCO_SIGNED_OFF_BY support for DCO Signed-off-by footer.

Signed-off-by: Robin H. Johnson <robbat2@gentoo.org>

Refactor PORTAGE_GPG_KEY.

Signed-off-by: Robin H. Johnson <robbat2@gentoo.org>

Deprecate python.eclass & distutils.eclass.

Don't filter SHELL from bash env, bug #466844.

search: fix RuntimeError: No active exception

bin/ebuild: tweak FEATURES=digest logic

bin/ebuild: only digest once for FEATURES=digest

movefile: remove source symlink/hardlink after mv

refactor contents file writing to its own function

This CL refactors out the functionality of writing a contents dicionary
to file. That functionality is required by a change in the chromeos
chromite repository.

BUG=chromium:229234
TEST=None

Change-Id: I851724408b1d10827eee2ea8d67bdca9ad90c455

repoman: fix random package.use.stable.* failure

It failed to work randomly, since setcpv did not always use the correct
value for the effective ACCEPT_KEYWORDS of the current profile.

depgraph: don't _skip_restart for blockers

This prevents blockers from interfering with backtracking, as reported
in bug #465356, comment #15.

Revert "Add a QA check for systemd unit file install."

This reverts commit dd2d661078771a41d4fd554c2bc3b1188ce7b53e.
Forcing use of a specific eclass is too restrictive. It would be better
to use a variable to control a warning like this. See bug #465562.

man/make.conf.5: noauto sources ebuild each phase

man/emerge.1: move --digest to option section

man/emerge.1: document --digest, bug #161236

man/portage.5: layout.conf repo-name, bug #433561

ebuild(5): add missing space between doman/dohard

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

emerge --exclude: avoid "world problems" warning

binarytree: copy g+rw from PKGDIR to files

egencache,emirrordist: export NOCOLOR if no tty

egencache,emirrordist: disable color if no tty

ecompressdir: fix decompress, bug #462936

This array index variables have been broken in this code ever since it
was added in commit 76939c46aa2817bdbcea703432c52e5aa04160f9.

Support overriding repo-name from layout.conf.

Consider this an undocumented and unsupported feature which will make my
life much easier. And decrease the amount of repo_name changes committed
by mistake. See bug #433561.

ebuild: standardize error output a bit

A bunch of the messages are written to stdout instead of stderr, and
lack any sort of general context.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

make.defaults: profile-formats control recursive

getconfig: handle recursive PermissionDenied

Support RESTRICT=splitdebug

PORTAGE_XATTR_EXCLUDE="security.*", bug #461868

_autounmask_levels: respect keywords, bug #463394

This adds an additional autounmask level which tries to respect
keywords while discarding package.mask as discussed in bug #463394.

_autounmask_levels: refactor (no behavior change)

make.defaults: recurse directories

This makes behavior more consistent with handling of other files, as
discussed in bug #463266.

make.conf: recurse directories, bug #463266