pkg_use_enabled: return early for built pkgs

Built/installed packages have frozen USE settings, so there's no sense
in considering them for autounmask USE config changes. They'll simply
be rejected by select_package, and an unbuilt ebuild will be selected
instead. This will fix bug 371423 by avoiding unnecessary use_reduce
calls on the deps of installed packages.

digestgen: spawn_nofetch (fix previous commit)

This call was erroneously removed in the previous commit. We have to
call spawn_nofetch since the fetch() function no longer calls it
automatically.

digestgen: always allow fetch from mirror://

This fixes repoman and ebuild(1) to fetch from mirror:// URIs even
though RESTRICT=fetch is set (this behavior already works for emerge
since it does not call fetch() via digestgen).

Scheduler: make --fetchonly skip pkg_pretend

test_merge_order: test smallest runtime cycle

In the case of multiple runtime cycles, where some cycles
may depend on smaller independent cycles, it's optimal
to merge smaller independent cycles before other cycles
that depend on them. Therefore, we search for the
smallest cycle in order to try and identify and prefer
these smaller independent cycles.

Fix a typo in a comment.

serialize_tasks: debug output for runtime cycles

serialize_tasks: asap ignore medium_soft earlier

This allows us to avoid the less efficient runtime cycle pathway for
cases in which an asap node is a leaf if medium_soft deps are ignored.
Ths should increase efficiency without changing behavior.

serialize_tasks: minimize runtime cycles more

serialize_tasks: minimize nodes in runtime cycles

When gathering the nodes belonging to a runtime cycle, we want to
minimize the number of nodes gathered, since this tends to produce
a more optimal merge order. Ignoring all medium_soft deps serves
this purpose.

depgraph._serialize_tasks: revert formatting diff

depgraph._serialize_tasks: move libperl/perl code

This ensures that all asap_nodes are explored before setting
prefer_asap to False.

bintree: verify that default REPO is legit

We need to check the RepoConfig.missing_repo_name attribute to make
sure the repo_name is really defined.

depgraph._serialize_tasks: tweak last commit more

depgraph._serialize_tasks: tweak last commit

This code is only intended when more than one node is selected.

test_fakedbapi: define PORTDIR, test missing IUSE

test_fakedbapi: use tempdir for config paths

Add tests for fakedbapi.

slot_collision_notice: don't omit any use dep

When USE flags are removed, it can be essential to see all broken
reverse dependencies here, so don't omit any. If the list is long,
people can simply use a pager.

show_unsatisfied_blockers: don't omit any pkgs

It can be essential to see all the packages here, so don't omit any.
If the list is long, people can simply use a pager.

Fix a typo.

depgraph._serialize_tasks: fix libperl/perl order

In some cases, the asap_nodes code caused selection of a large runtime
cycle that was obviously sub-optimal. Now such cases are detected and
avoided.

fakedbapi: add myrepo args for portdbapi compat

bintree: handle pkgindex CHOST header like REPO

This allows an existing CHOST header entry to properly override our
default.

bintree: always populate pkgindex REPO header

The previous code would only populate it when there was no existing
index file. Now, the default will be populated even if the file exists
already. If an existing pkgindex header already defines these keys,
then they will appropriately override our defaults.

Fix some typoes in docs and comments.

portage.5: doc repo and wildcard atom extensions

useflag/dep_re: less strict if eapi None

When eapi is None then validation is not as strict, since we want the
same to work for multiple EAPIs that may have slightly different rules.

SubProcess: fix status for _set_returncode caller

These callers don't intend to make WIFSIGNALED return True, so they
need to shift their codes 8 bits to the left. This ensures that
commit 88f5bf84e2fd23125910b2ecaffc035971445696 behaves as intended.

AbstractEbuildProcess: handle kill by signal

This will fix bug #368817.

SubProcess: make returncode like Popen

lockfile: use hasattr() instead of dir()

ebuild.sh: fix libdir for ccache/distcc

This will fix bug #355283.

ebuild.sh: don't hardcode distcc pump path

test_use_reduce: test empty parens (bug 370565)

use_reduce: disallow empty parens

This will fix bug #370565.

getmaskingstatus: fix keywords logic

This will fix bug #370477.

getmaskingreason: EAPI metadata safety

Return early since otherwise we might produce invalid results given
that the EAPI is not supported.

show_masked_packages: EAPI metadata safety

When masked by EAPI, metadata is mostly useless since it doesn't
contain essential things like SLOT.

Fix a typo and update a comment.

_show_unsatisfied_dep: fix logic for EAPI mask

This will fix bug #370465.

SpawnTestCase: check returncode

locks: use a private constant for fcntl.lockf

Test noblocking locks.

unmerge: show virtual in system unmerge warning

This is intended to clarify the messages shown in bug #370295, so that
it's obvious when a package is a member of the system set due to it
being a virtual provider.

Atom: avoid TypeError with PyPy

Our test cases pass in raw bytes here, which causes _atom_base.__init__
to raise TypeError with PyPy.

autounmask-write: prefer package.accept_keywords

extract_affecting_use: _get_useflag_re(eapi)

This is needed for EAPI="4-python" added in commit
586760f37fb9784327d8447182d49810662f4427.

autounmask-write: support package.accept_keywords

Add initial support for EAPI="4-python".

Fix some typos.

bintree: populate REPO header for empty pkgindex

getmaskingreason: assume myrepo arg is valid

config: add missing Package import

Use Package.UNKNOWN_REPO where appropriate.

getmaskingreason: add myrepo argument

portageq: support --version

Scheduler: init _fetch_log in constructor

This ensures that we account for EMERGE_LOG_DIR.

InternalPackageSet: default allow_repo=True

Repo atoms are allowed more often than not, so it makes sense for this
class to allow them by default. The Atom constructor and isvalidatom()
functions default to allow_repo=False, which is sufficient to ensure
that repo atoms are prohibited when necessary.

create_world_atom: fix slot/repo atom logic

Enable atom::repo in the @selected package set.

MergeListItem: fix "unknown repo" display

The Package class uses an UNKNOWN_REPO constant so that MergeListItem
can distinguish this case.

match-all-cpv-only: share match-all cache when ok

portdbapi.xmatch: remove redundant myval check

portdbapi.xmatch: always pass mytree to cp_list

dbapi._iter_match: remove redundant myrepo args

The myrepo arguments are redundant since the Atom.repo attribute
carries the same information.

dep_expand: fix orig_dep for previous commit

dep_expand: optimize away cpv_expand if possible

Uniformly check EAPI when avoiding setcpv calls.

--ask: show group warning before pretend prompt

autounmask: reference EMERGE_DEFAULT_OPTS in docs

Binpkg: cleanup PORTAGE_BINPKG_FILE code

Fix a typo in a comment.

autounmask: include comments from package.mask

This will fix bug #369985.

emergelog: tweak _disabled comment

emergelog: only enable when called by emerge

We disable emergelog by default, since it's called from dblink.merge()
and we don't want that to trigger log writes unless it's really called
via emerge.

Revert "dblink.merge: remove autoclean emergelog calls"

This reverts commit 352280549c9b72e7b916803dc6b03b959d0817e3.
I'm planning to fix this so the emergelog calls are only enabled when
emerge is the caller.

portdbapi: cleanup when base module is reloaded

This prevents memory leaks via portdbapi.portdbapi_instances when the
module is reloaded. Also, there's no need for ebuild(1) to call
close_portdbapi_caches() since it's now handled automatically during
the reload.

Update timestamps in headers of modified files.

Move pickle import out of base portage module.

--ask: prompt for --pretend mode when necessary

--autounmask: show note suggesting how to disable

Now that --autounmask is enabled by default, people are dealing with
local masks that trigger unsatisfied dependencies often complain about
--autounmask behavior being inappropriate for their situation.
Therefore, show a helpful note when the autounmask code is triggered
and --quiet is not enabled:

  NOTE: This --autounmask behavior can be disabled by setting
        EMERGE_DEFAULT_OPTS="--autounmask=n" in make.conf.

make_http_request: fix request arguments

This will fix "TypeError: must be string or buffer, not dict" with
python 2.7, as reported in bug #369913.

dblink.merge: remove autoclean emergelog calls

This logging is non-essential, and it's somewhat out of place to call
emergelog from dblink.merge since emerge is not the only caller of
this code.

dblink.merge: remove unused scheduler callbacks

dblink.unmerge: fix some background logic cases

autounmask-write: mention --ask in docs

etc-update: disable clear_term by default

autounmask-write: force configpro if non-existent

We want to force new_protect_filename to ensure that the user will see
all our changes via etc-update, even if file_to_write_to doesn't exist
yet.

add_pkg_dep_string: fix reversed inst_pkgs order

This code was intended to iterate over packages in descending order,
but match_pkgs() returns them in ascending order, so we need to
reverse it.

add_pkg_dep_string: remove unused root_slot var

Use bool(digraph) instead of empty()/is_empty().

dblink.unmerge: init log_path earlier, don't pop

There's no need to pop PORTAGE_LOG_FILE here, since
PORTAGE_BACKGROUND=subprocess disables logging when necessary.

repository/config: PORTDIR/overlay priority tweak

This ensures compatibility with previous portage versions for cases in
which the user has added PORTDIR to PORTDIR_OVERLAY as a means to modify its
priority relative to overlays when selecting ebuilds.

NEWS: FEATURES=parallel-install and ebuild-locks

NEW/RELEASE-NOTES: add items for portage-2.1.10

portageq: exclude expand_new_virt from commands

This is necessary since portage probes functions in globals() and
treats functions it finds as commands. Also, use lazy import to
minimize global scope imports.

portageq: add new expand_virtual function

Something like this was requested in bug #157357. Now that Gentoo has
migrated all virtuals to GLEP 37 new-style virtuals, this kind of
function may be helpful in order to resolve the currently installed
provider of a particular virtual in scripts like bootstrap.sh.

Usage:

portageq expand_virtual <root> <atom>

Returns a \n separated list of atoms expanded from a
given virtual atom, excluding blocker atoms. Satisfied
virtual atoms are not included in the output, since
they are expanded to real atoms which are displayed.
Unsatisfied virtual atoms are displayed without
any expansion. The "match" command can be used to
resolve the returned atoms to specific installed
packages.

Example input/output:

$ portageq expand_virtual / virtual/jre
=dev-java/sun-jdk-1.6.0*

$ portageq expand_virtual / virtual/jre:1.5
dev-java/gcj-jdk

$ portageq expand_virtual / virtual/package-manager
sys-apps/portage

$ portageq expand_virtual / virtual/libc
sys-libs/glibc:2.2

$ portageq expand_virtual / virtual/os-headers
sys-kernel/linux-headers:0

repoman: disallow EMERGE_FROM in EAPI 4

We already have the Eapi4GoneVars check for AA and KV which were
removed in EAPI 4, so we can re-use it to disallow EMERGE_FROM.
This will fix bug #368865.

etc-update: add clear_term config for bug #142508