Test noblocking locks.

unmerge: show virtual in system unmerge warning

This is intended to clarify the messages shown in bug #370295, so that
it's obvious when a package is a member of the system set due to it
being a virtual provider.

Atom: avoid TypeError with PyPy

Our test cases pass in raw bytes here, which causes _atom_base.__init__
to raise TypeError with PyPy.

autounmask-write: prefer package.accept_keywords

extract_affecting_use: _get_useflag_re(eapi)

This is needed for EAPI="4-python" added in commit
586760f37fb9784327d8447182d49810662f4427.

autounmask-write: support package.accept_keywords

Add initial support for EAPI="4-python".

Fix some typos.

bintree: populate REPO header for empty pkgindex

getmaskingreason: assume myrepo arg is valid

config: add missing Package import

Use Package.UNKNOWN_REPO where appropriate.

getmaskingreason: add myrepo argument

portageq: support --version

Scheduler: init _fetch_log in constructor

This ensures that we account for EMERGE_LOG_DIR.

InternalPackageSet: default allow_repo=True

Repo atoms are allowed more often than not, so it makes sense for this
class to allow them by default. The Atom constructor and isvalidatom()
functions default to allow_repo=False, which is sufficient to ensure
that repo atoms are prohibited when necessary.

create_world_atom: fix slot/repo atom logic

Enable atom::repo in the @selected package set.

MergeListItem: fix "unknown repo" display

The Package class uses an UNKNOWN_REPO constant so that MergeListItem
can distinguish this case.

match-all-cpv-only: share match-all cache when ok

portdbapi.xmatch: remove redundant myval check

portdbapi.xmatch: always pass mytree to cp_list

dbapi._iter_match: remove redundant myrepo args

The myrepo arguments are redundant since the Atom.repo attribute
carries the same information.

dep_expand: fix orig_dep for previous commit

dep_expand: optimize away cpv_expand if possible

Uniformly check EAPI when avoiding setcpv calls.

--ask: show group warning before pretend prompt

autounmask: reference EMERGE_DEFAULT_OPTS in docs

Binpkg: cleanup PORTAGE_BINPKG_FILE code

Fix a typo in a comment.

autounmask: include comments from package.mask

This will fix bug #369985.

emergelog: tweak _disabled comment

emergelog: only enable when called by emerge

We disable emergelog by default, since it's called from dblink.merge()
and we don't want that to trigger log writes unless it's really called
via emerge.

Revert "dblink.merge: remove autoclean emergelog calls"

This reverts commit 352280549c9b72e7b916803dc6b03b959d0817e3.
I'm planning to fix this so the emergelog calls are only enabled when
emerge is the caller.

portdbapi: cleanup when base module is reloaded

This prevents memory leaks via portdbapi.portdbapi_instances when the
module is reloaded. Also, there's no need for ebuild(1) to call
close_portdbapi_caches() since it's now handled automatically during
the reload.

Update timestamps in headers of modified files.

Move pickle import out of base portage module.

--ask: prompt for --pretend mode when necessary

--autounmask: show note suggesting how to disable

Now that --autounmask is enabled by default, people are dealing with
local masks that trigger unsatisfied dependencies often complain about
--autounmask behavior being inappropriate for their situation.
Therefore, show a helpful note when the autounmask code is triggered
and --quiet is not enabled:

  NOTE: This --autounmask behavior can be disabled by setting
        EMERGE_DEFAULT_OPTS="--autounmask=n" in make.conf.

make_http_request: fix request arguments

This will fix "TypeError: must be string or buffer, not dict" with
python 2.7, as reported in bug #369913.

dblink.merge: remove autoclean emergelog calls

This logging is non-essential, and it's somewhat out of place to call
emergelog from dblink.merge since emerge is not the only caller of
this code.

dblink.merge: remove unused scheduler callbacks

dblink.unmerge: fix some background logic cases

autounmask-write: mention --ask in docs

etc-update: disable clear_term by default

autounmask-write: force configpro if non-existent

We want to force new_protect_filename to ensure that the user will see
all our changes via etc-update, even if file_to_write_to doesn't exist
yet.

add_pkg_dep_string: fix reversed inst_pkgs order

This code was intended to iterate over packages in descending order,
but match_pkgs() returns them in ascending order, so we need to
reverse it.

add_pkg_dep_string: remove unused root_slot var

Use bool(digraph) instead of empty()/is_empty().

dblink.unmerge: init log_path earlier, don't pop

There's no need to pop PORTAGE_LOG_FILE here, since
PORTAGE_BACKGROUND=subprocess disables logging when necessary.

repository/config: PORTDIR/overlay priority tweak

This ensures compatibility with previous portage versions for cases in
which the user has added PORTDIR to PORTDIR_OVERLAY as a means to modify its
priority relative to overlays when selecting ebuilds.

NEWS: FEATURES=parallel-install and ebuild-locks

NEW/RELEASE-NOTES: add items for portage-2.1.10

portageq: exclude expand_new_virt from commands

This is necessary since portage probes functions in globals() and
treats functions it finds as commands. Also, use lazy import to
minimize global scope imports.

portageq: add new expand_virtual function

Something like this was requested in bug #157357. Now that Gentoo has
migrated all virtuals to GLEP 37 new-style virtuals, this kind of
function may be helpful in order to resolve the currently installed
provider of a particular virtual in scripts like bootstrap.sh.

Usage:

portageq expand_virtual <root> <atom>

Returns a \n separated list of atoms expanded from a
given virtual atom, excluding blocker atoms. Satisfied
virtual atoms are not included in the output, since
they are expanded to real atoms which are displayed.
Unsatisfied virtual atoms are displayed without
any expansion. The "match" command can be used to
resolve the returned atoms to specific installed
packages.

Example input/output:

$ portageq expand_virtual / virtual/jre
=dev-java/sun-jdk-1.6.0*

$ portageq expand_virtual / virtual/jre:1.5
dev-java/gcj-jdk

$ portageq expand_virtual / virtual/package-manager
sys-apps/portage

$ portageq expand_virtual / virtual/libc
sys-libs/glibc:2.2

$ portageq expand_virtual / virtual/os-headers
sys-kernel/linux-headers:0

repoman: disallow EMERGE_FROM in EAPI 4

We already have the Eapi4GoneVars check for AA and KV which were
removed in EAPI 4, so we can re-use it to disallow EMERGE_FROM.
This will fix bug #368865.

etc-update: add clear_term config for bug #142508

dep_zapdeps: use digraph for preference selection

This is required in order for dep_zapdeps to work as intended for
solving cases of bug #264434 in which there is an installed
package that may need to be uninstalled in order to resolve blockers.
It fixes a failure to resolve blockers when attempting to replace
media-video/ffmpeg with media-video/libav (symptom is similar to
bug #339164, but with new-style virtual instead of old-style PROVIDE
virtual).

test_merge_order: add USE deps to bug 264434 test

test_merge_order: test bug #264434 with virtual

man/ebuild.5: document DOCS variable for EAPI 4

This will fix bug #369383.

backtrack_depgraph: display_problems for each run

depclean: warn for each unmatched argument

This output is similar to that produced by unmerge().

_LockProcess: fix _poll returncode

We don't want to return the returncode directly from the
subprocess. Return self.returncode instead.

MergeProcess: populate vardbapi cache for new pkg

counter_tick_core: flush the cache (periodically)

Since we hold a lock, this is a good opportunity to flush the cache.
Note that this will only flush the cache periodically in the main
process when _aux_cache_threshold is exceeded.

autounmask_broke_use_dep: flag masked pkgs too

_LockProcess: remove redundant scheduler attrib

unmerge: remove redundant builddir_locked var

AsynchronousLock: check type in _poll and _cancel

man/emerge.1: refer to ebuild(5) for atom syntax

unmerge: pass through writemsg_level param

discardBlocker: fix bug in slot match code

discardBlocker: fix cpv match so it works

depgraph: always check for autounmask breakage

The 2.1.9 branch already does the same thing since commit
65736474c0d70cb10ff1290b3787b61d8a502aed.

Update timestamps in headers of modified files.

dblink.unmerge: always initialize myebuildpath

This is required for the doebuild_environment() call. Also, set
builddir_locked = True when appropriate.

counter_tick: respect incrementing param always

Every package install must have a unique counter, since a slotmove
update can move two packages into the same SLOT and in that case it's
important that both packages have different COUNTER metadata.

FakeVartree: use live meta if installed EAPI ok

This will fix bug #368725.

unmerge: fix logging for unsupported EAPI

rebuilt-binaries: prefer newer unbuilt

FakeVartree: tweak _aux_get_wrapper repo handling

FakeVartree: tweak _aux_get_wrapper EAPI handling

writedict: use write_atomic for exceptions

Also, fix calling code to handle InvalidLocation exceptions.

treewalk: reset cloned config instances

dblink: use config._init_dirs() when necessary

writedict: raise any exceptions

We don't have any code that checks the writedict return value, so we'd
better raise an exception if it fails.

atomic_ofstream: suppress redundant open error

vardbapi: use config._init_dirs() when necessary

cleanrm: handle UnsupportedAPIException

FakeVartree: preserve EAPI of installed package

If the corresponding unbuilt ebuild has a different EAPI than the
installed instance, then we want to preserve the EAPI meatadata from
the installed instance.

Fix a typo in last commit's debug message.

depgraph: detect deps broken by autounmask

This will fix bug #368429.

PackageUninstall: return early if pkg is missing

PackageUninstall: remove extra cat/pf var init

Also, add to comments about ebuild-locks.

test_merge_order: test asap PDEPEND (bug #180045)

treewalk: fix PORTAGE_BUILDIR_LOCKED state

This fixes breakage from commit
f0f1bbe8fa9d3f698cbe529d2a11eec1ce437119.

PackageUninstall: log more output

PackageUninstall: make async with MergeProcess

This fixes another ebuild-locks issue like the one fixed in commit
a81460175a441897282b0540cefff8060f2b92dc, but this time we use a
subprocess to ensure that the ebuild-locks for pkg_prerm and
pkg_postrm do not interfere with pkg_setup ebuild-locks held by
the main process.

doebuild_environment: move EAPI code later

All EAPI dependent code comes last, so that essential
variables like PORTAGE_BUILDDIR are still initialized even in
cases when UnsupportedAPIException needs to be raised, which
can be useful when uninstalling a package that has corrupt
EAPI metadata.