Binpkg: cleanup PORTAGE_BINPKG_FILE code

Fix a typo in a comment.

autounmask: include comments from package.mask

This will fix bug #369985.

emergelog: tweak _disabled comment

emergelog: only enable when called by emerge

We disable emergelog by default, since it's called from dblink.merge()
and we don't want that to trigger log writes unless it's really called
via emerge.

Revert "dblink.merge: remove autoclean emergelog calls"

This reverts commit 352280549c9b72e7b916803dc6b03b959d0817e3.
I'm planning to fix this so the emergelog calls are only enabled when
emerge is the caller.

portdbapi: cleanup when base module is reloaded

This prevents memory leaks via portdbapi.portdbapi_instances when the
module is reloaded. Also, there's no need for ebuild(1) to call
close_portdbapi_caches() since it's now handled automatically during
the reload.

Update timestamps in headers of modified files.

Move pickle import out of base portage module.

--ask: prompt for --pretend mode when necessary

--autounmask: show note suggesting how to disable

Now that --autounmask is enabled by default, people are dealing with
local masks that trigger unsatisfied dependencies often complain about
--autounmask behavior being inappropriate for their situation.
Therefore, show a helpful note when the autounmask code is triggered
and --quiet is not enabled:

  NOTE: This --autounmask behavior can be disabled by setting
        EMERGE_DEFAULT_OPTS="--autounmask=n" in make.conf.

make_http_request: fix request arguments

This will fix "TypeError: must be string or buffer, not dict" with
python 2.7, as reported in bug #369913.

dblink.merge: remove autoclean emergelog calls

This logging is non-essential, and it's somewhat out of place to call
emergelog from dblink.merge since emerge is not the only caller of
this code.

dblink.merge: remove unused scheduler callbacks

dblink.unmerge: fix some background logic cases

autounmask-write: mention --ask in docs

etc-update: disable clear_term by default

autounmask-write: force configpro if non-existent

We want to force new_protect_filename to ensure that the user will see
all our changes via etc-update, even if file_to_write_to doesn't exist
yet.

add_pkg_dep_string: fix reversed inst_pkgs order

This code was intended to iterate over packages in descending order,
but match_pkgs() returns them in ascending order, so we need to
reverse it.

add_pkg_dep_string: remove unused root_slot var

Use bool(digraph) instead of empty()/is_empty().

dblink.unmerge: init log_path earlier, don't pop

There's no need to pop PORTAGE_LOG_FILE here, since
PORTAGE_BACKGROUND=subprocess disables logging when necessary.

repository/config: PORTDIR/overlay priority tweak

This ensures compatibility with previous portage versions for cases in
which the user has added PORTDIR to PORTDIR_OVERLAY as a means to modify its
priority relative to overlays when selecting ebuilds.

NEWS: FEATURES=parallel-install and ebuild-locks

NEW/RELEASE-NOTES: add items for portage-2.1.10

portageq: exclude expand_new_virt from commands

This is necessary since portage probes functions in globals() and
treats functions it finds as commands. Also, use lazy import to
minimize global scope imports.

portageq: add new expand_virtual function

Something like this was requested in bug #157357. Now that Gentoo has
migrated all virtuals to GLEP 37 new-style virtuals, this kind of
function may be helpful in order to resolve the currently installed
provider of a particular virtual in scripts like bootstrap.sh.

Usage:

portageq expand_virtual <root> <atom>

Returns a \n separated list of atoms expanded from a
given virtual atom, excluding blocker atoms. Satisfied
virtual atoms are not included in the output, since
they are expanded to real atoms which are displayed.
Unsatisfied virtual atoms are displayed without
any expansion. The "match" command can be used to
resolve the returned atoms to specific installed
packages.

Example input/output:

$ portageq expand_virtual / virtual/jre
=dev-java/sun-jdk-1.6.0*

$ portageq expand_virtual / virtual/jre:1.5
dev-java/gcj-jdk

$ portageq expand_virtual / virtual/package-manager
sys-apps/portage

$ portageq expand_virtual / virtual/libc
sys-libs/glibc:2.2

$ portageq expand_virtual / virtual/os-headers
sys-kernel/linux-headers:0

repoman: disallow EMERGE_FROM in EAPI 4

We already have the Eapi4GoneVars check for AA and KV which were
removed in EAPI 4, so we can re-use it to disallow EMERGE_FROM.
This will fix bug #368865.

etc-update: add clear_term config for bug #142508

dep_zapdeps: use digraph for preference selection

This is required in order for dep_zapdeps to work as intended for
solving cases of bug #264434 in which there is an installed
package that may need to be uninstalled in order to resolve blockers.
It fixes a failure to resolve blockers when attempting to replace
media-video/ffmpeg with media-video/libav (symptom is similar to
bug #339164, but with new-style virtual instead of old-style PROVIDE
virtual).

test_merge_order: add USE deps to bug 264434 test

test_merge_order: test bug #264434 with virtual

man/ebuild.5: document DOCS variable for EAPI 4

This will fix bug #369383.

backtrack_depgraph: display_problems for each run

depclean: warn for each unmatched argument

This output is similar to that produced by unmerge().

_LockProcess: fix _poll returncode

We don't want to return the returncode directly from the
subprocess. Return self.returncode instead.

MergeProcess: populate vardbapi cache for new pkg

counter_tick_core: flush the cache (periodically)

Since we hold a lock, this is a good opportunity to flush the cache.
Note that this will only flush the cache periodically in the main
process when _aux_cache_threshold is exceeded.

autounmask_broke_use_dep: flag masked pkgs too

_LockProcess: remove redundant scheduler attrib

unmerge: remove redundant builddir_locked var

AsynchronousLock: check type in _poll and _cancel

man/emerge.1: refer to ebuild(5) for atom syntax

unmerge: pass through writemsg_level param

discardBlocker: fix bug in slot match code

discardBlocker: fix cpv match so it works

depgraph: always check for autounmask breakage

The 2.1.9 branch already does the same thing since commit
65736474c0d70cb10ff1290b3787b61d8a502aed.

Update timestamps in headers of modified files.

dblink.unmerge: always initialize myebuildpath

This is required for the doebuild_environment() call. Also, set
builddir_locked = True when appropriate.

counter_tick: respect incrementing param always

Every package install must have a unique counter, since a slotmove
update can move two packages into the same SLOT and in that case it's
important that both packages have different COUNTER metadata.

FakeVartree: use live meta if installed EAPI ok

This will fix bug #368725.

unmerge: fix logging for unsupported EAPI

rebuilt-binaries: prefer newer unbuilt

FakeVartree: tweak _aux_get_wrapper repo handling

FakeVartree: tweak _aux_get_wrapper EAPI handling

writedict: use write_atomic for exceptions

Also, fix calling code to handle InvalidLocation exceptions.

treewalk: reset cloned config instances

dblink: use config._init_dirs() when necessary

writedict: raise any exceptions

We don't have any code that checks the writedict return value, so we'd
better raise an exception if it fails.

atomic_ofstream: suppress redundant open error

vardbapi: use config._init_dirs() when necessary

cleanrm: handle UnsupportedAPIException

FakeVartree: preserve EAPI of installed package

If the corresponding unbuilt ebuild has a different EAPI than the
installed instance, then we want to preserve the EAPI meatadata from
the installed instance.

Fix a typo in last commit's debug message.

depgraph: detect deps broken by autounmask

This will fix bug #368429.

PackageUninstall: return early if pkg is missing

PackageUninstall: remove extra cat/pf var init

Also, add to comments about ebuild-locks.

test_merge_order: test asap PDEPEND (bug #180045)

treewalk: fix PORTAGE_BUILDIR_LOCKED state

This fixes breakage from commit
f0f1bbe8fa9d3f698cbe529d2a11eec1ce437119.

PackageUninstall: log more output

PackageUninstall: make async with MergeProcess

This fixes another ebuild-locks issue like the one fixed in commit
a81460175a441897282b0540cefff8060f2b92dc, but this time we use a
subprocess to ensure that the ebuild-locks for pkg_prerm and
pkg_postrm do not interfere with pkg_setup ebuild-locks held by
the main process.

doebuild_environment: move EAPI code later

All EAPI dependent code comes last, so that essential
variables like PORTAGE_BUILDDIR are still initialized even in
cases when UnsupportedAPIException needs to be raised, which
can be useful when uninstalling a package that has corrupt
EAPI metadata.

MergeProcess: remove unnecessary dblink attribute

PackageUninstall: use _unmerge_display()

This is preparation for asynchronous support.

unmerge: split out _unmerge_display() function

This will be useful for adding asynchronous support to the
PackageUninstall class, since it will be able to call
_unmerge_display() for the display portion, and then do the
actual unmerge asynchronously.

repoman: pass type_name to Package constructor

test_merge_order: add more asap libc deps

_serialize_tasks: prefer unsatisfied asap child

Optimally, satisfied deps are always merged after the asap nodes that
depend on them.

test_depth: use merge_order_assertions

_add_pkg_dep_string: handle satisfied virt_dep

This fixes a problem with the asap LIBC_PACKAGE_ATOM test case for
bug #303567.

test_merge_order: test asap LIBC_PACKAGE_ATOM

_validate_blockers: reference bug 128809

test_merge_order: test asap PORTAGE_PACKAGE_ATOM

test_merge_order: test case for bug 250286

test_merge_order: test hard block resolution

test_merge_order: test many-to-one blocks

Package: add new _gen_hash_key method

test_depth: use ambiguous_merge_order

ambiguous_merge_order: set match = False more

Fix spelling of "ambiguous".

DepPriority: remove "rebuild" attribute

Since the addition of DepPriorityNormalRange and
DepPrioritySatisfiedRange in commit
bd369956b2a2fbc019a655a372628998499156c0, which solves most cases of
bug 199856, the Depriority.rebuild attribute doesn't appear to make any
difference. The edges that this attribute differentiates are already
naturally differentiated by the fact that the child node of a satisfied
buildtime dependency that's not being rebuilt will naturally be
identified as a leaf node earlier and removed from the graph, thereby
eliminating the edge before there's an opportunity to compare it with
a higher priority rebuild edge. The addition of the "optional"
attribute (in commit 15476805a156acd11fdaaa19212691e8ee09b309) also
plays a role here, since it converts some satisfied buildtime edges to
optional edges, thereby reducing their priority.

test_merge_order: fix bugs in previous commit

test_merge_order: test solve blocker no-overlap

treewalk: force AUTOCLEAN=yes if libs preserved

_prune_plib_registry: correct _match_contents use

merge_order_assertions: fix string format error

test_merge_order: test satisfied circular DEPEND

test_merge_order: test unsolvable buildtime cycle

test_merge_order: test circular RDEPEND + DEPEND

test_merge_order: make cycles indirect