Bug #337180 - Add a strict_warn_for_unmatched_removal parameter for
stack_lists() that will be useful for repoman, and disable it by default.

Limit the spam caused by unmatched removal atoms

In Package._validate_deps(), force unicode format string in
check_required_use() exception handling (for python-2.x safety).

Make Package._metadata_exception() use unicode format strings in order
to avoid UnicodeDecodeError in python-2.x.

This issue was reported in forum thread
http://forums.gentoo.org/viewtopic-t-844623.html where the following
traceback was posted:

  File "/usr/lib/portage/pym/_emerge/FakeVartree.py", line 195, in _pkg
    type_name="installed")
  File "/usr/lib/portage/pym/_emerge/Package.py", line 64, in __init__
    self._validate_deps()
  File "/usr/lib/portage/pym/_emerge/Package.py", line 93, in _validate_deps
    self._metadata_exception(k, e)
  File "/usr/lib/portage/pym/_emerge/Package.py", line 242, in _metadata_exception
    "%s: %s in '%s'" % (k, e, path))
UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 22: ordinal not in range(128)

Bug #336692 - When stack_lists() detects unmatched removal atoms,
account for cases in which the same profile is inherited multiple times
in the same stack.

Tests: test isvalidatom ::repo syntax support

ResolverPlayground: Add multi repo support

Add :.repo syntax support for portage.util.{grabfile_package,grabdict_package}

portage.dep: Add support for ::repo syntax to all functions and classes

This also adds the dep_getrepo() function

In doebuild(), skip PORTAGE_BUILDDIR locking if it's already locked
or returnpid is True.

Make IpcDaemonTestCase use a finally block to unlock PORTAGE_BUILDDIR.

Make ebuild-ipc.py close the output_file before trying to re-open it
after it has timed out.

Bug #336433 - Don't filter the DCCC_PATH variable from environment since
that breaks distcc ebuilds.

Only initialize Package.inherited to an empty set when it is None.

Ensure that Package.inherited is always initialized, even if there is no
INHERITED metadata available (like for binary packages).

Add option -s to docompress command.

Make EbuildBuildDir.unlock() use an asynchronous lock when locking the
category directory for removal.

Revert "Remove ebuild-helpers/preplib (bug 102297)"

This reverts commit 811689f349a91b44448bc8e294903abf990eac45. The preplib
helper is still used by at least by stable sys-libs/lib-compat ebuilds.

Make EbuildBuildDir use the PORTAGE_BUILDDIR variable instead of the
dir_path attribute.

Make Binpkg call doebuild_environment() before constructing
EbuildBuildDir, so PORTAGE_BUILDDIR is initialized first.

Fix some typos.

Don't export PORTAGE_BUILDIR_LOCKED to the ebuild environment.

Add a config.pkeywordsdict property for backward compatibility.

In KeywordsManager.pkeywordsdict save values as tuples instead of lists.

config: Add KeywordsManager

Make ebuild-ipc timeout messages show which operation timed out.

Bug #336142 - Make ebuild-ipc.py keep trying to communicate indefinitely,
as long as $PORTAGE_BUILDDIR is locked.

Make IpcDaemonTestCase use EbuildBuildDir for lock creation.

Make AbstractEbuildProcess lock PORTAGE_BUILDIR if it's not already
locked.

Bug #336142 - Use EbuildBuildDir for threaded locking of PORTAGE_BUILDDIR
inside dblink.unmerge(), so that the scheduler can concurrently service
ipc calls in the main thread.

Use EbuildBuildDir for PORTAGE_BUILDDIR locking inside doebuild().

Make EbuildBuild call doebuild_environment() so that EbuildBuildDir
doesn't need to.

Bug #336142 - Add support for using a thread to wait for locks inside
EbuildBuildDir.lock() so that the scheduler can concurrently service ipc
calls in the main thread.

Make dblink.lockdb() use AsynchronousLock.

Add a new AsynchronousLock class that uses the portage.locks module to
acquire a lock asynchronously, using a background thread.

Make config.setinst() and get_virts_p() call getvirtuals() in order
to ensure that we don't trigger the _treeVirtuals assertion in
VirtualsManager._compile_virtuals().

In depgraph._load_vdb(), after calling FakeVartree.sync(), update
self._frozen_config.pkgsettings so that it has populated virtuals.

This solves allows us to avoid triggering an AssertionError reported
at http://forums.gentoo.org/viewtopic-t-844519.html with the following
traceback:

Calculating dependencies... done!
Traceback (most recent call last):
  File "/usr/bin/emerge", line 43, in <module>
    retval = emerge_main()
  File "/usr/lib/portage/pym/_emerge/main.py", line 1683, in emerge_main
    myopts, myaction, myfiles, spinner)
  File "/usr/lib/portage/pym/_emerge/actions.py", line 204, in action_build
    settings, trees, mtimedb, myopts, myparams, spinner)
  File "/usr/lib/portage/pym/_emerge/depgraph.py", line 6047, in resume_depgraph
    myparams, spinner)
  File "/usr/lib/portage/pym/_emerge/depgraph.py", line 6070, in _resume_depgraph
    skip_masked=skip_masked)
  File "/usr/lib/portage/pym/_emerge/depgraph.py", line 5617, in _loadResumeCommand
    if not self._add_pkg(task, None):
  File "/usr/lib/portage/pym/_emerge/depgraph.py", line 893, in _add_pkg
    pkgsettings.setinst(pkg.cpv, pkg.metadata)
  File "/usr/lib/portage/pym/portage/package/ebuild/config.py", line 1757, in setinst
    self._virtuals_manager.add_depgraph_virtuals(mycpv, virts)
  File "/usr/lib/portage/pym/portage/package/ebuild/_config/VirtualsManager.py", line 199, in add_depgraph_virtuals
    self.getvirtuals()
  File "/usr/lib/portage/pym/portage/package/ebuild/_config/VirtualsManager.py", line 156, in getvirtuals
    self._compile_virtuals()
  File "/usr/lib/portage/pym/portage/package/ebuild/_config/VirtualsManager.py", line 131, in _compile_virtuals
    "any query about virtuals"
AssertionError: _populate_treeVirtuals() must be called before any query about virtuals

Tests: Add use_reduce test case for bug 120374

Remove ebuild-helpers/preplib (bug 102297)

Tests: Add resolver/test_missing_iuse_and_evaluated_atoms to make sure we don't miss a "missing IUSE"

Don't miss a "missing IUSE" because of [foo?] -> [] evaluations.

This patch also drops flags with EAPI 4 use dep defaults from use.required.

Bug #336142 - When looking of packages that own files for file collisions
inside dblink.treewalk(), periodically yield to the scheduler so that
it can service ipc calls.

Make sure atoms in profiles follow the profiles EAPI

Bug #336873 - Add a leading comma when matching --hash-style=gnu
in LDFLAGS, in order to try and filter out invalid settings.

Bug #336142 - Add support for using a thread to wait for locks inside
dblink.lockdb() so that the scheduler can concurrently service ipc
calls in the main thread.

Add a 'condition' keyword argument to PollScheduler._schedule_wait()
which is a callable that should return True when it is desirable for
the _schedule_wait() method to return.

Bug #337031 - Don't make "always overflow destination buffers" gcc
warnings fatal for now.

Bug #336142 - Use a longer timeout for ebuild-ipc, in case the system is
heavily loaded.

Bug #336875 - Don't reference errno.ETIME since it's undefined on FreeBSD.

When fetching distfiles inside digestgen(), ignore conditional parts
of RESTRICT since they don't apply unconditionally. Assume such
conditionals only apply on the client side where digestgen() does not
need to be called.

For digestgen(), add a matchnone parameter to use_reduce() that is the
opposite of matchall.

Fix digestgen() to respect RESTRICT=fetch.

Make spawn_nofetch() call elog_process().

Make the mail_summary elog module copy needed variables from the config
instance, since we don't need to hold a reference for the whole thing.
This also makes it possible to rely on per-package variable settings that
may have come from /etc/portage/package.env, since we'll be isolated from
any future mutations of mysettings.

Fix typo in comment.

Make digestgen() use spawn_nofetch() when necessary, since fetch()
no longer does it.

Fix typo in comment.

Since pkg_nofetch is no longer called from fetch(), add a new
spawn_nofetch() support for doebuild() and other fetch() callers
to use.

In doebuild(), don't trigger prepare_build_dirs() for the fetch phase
with RESTRICT=fetch since fetch() doesn't call pkg_nofetch anymore.

Remove pkg_nofetch code from the fetch() function since it's currently broken (doebuild_environment raises TypeError due to missing mydbapi parameter) and this is a poor place to spawn pkg_nofetch anyway, especially given that the caller does not even pass in a portdbapi instance. For now, relocate the pkg_nofetch execution to EbuildBuild so that it works for emerge. TODO: Add pkg_nofetch support to fetch() callers where appropriate.

Fix typos in comments.

config: Handle -atoms properly

Before this change -atoms could leak out of the place where they were defined.
Different repos could influence their profile/package.mask.
Profiles could influence profile/package.mask.
Note that the latter is not desirable because other than normal atoms, -atoms
have to exactly match the atom they remove. Because of this, the place specifying
the -atom has to now which atoms exists, which can only be the case if it (or in case
of a profiles, a parent profile) defines it.

portage.util: Add optional remember_source_file parameter to some functions to make them return (token, file) pairs

This is useful to name the token's source file in error messages.
stack_lists has another new optional parameter: warn_for_unmatched_removal, which
warns for -atoms that don't remove anything.

config/p.mask: config from other repos than PORTDIR comes before profiles (like PORTDIR)

Tests: ebuild/test_config: Make sure -atoms in package.mask work as PMS wants it

ResolverPlayground: Add ability to create a basic profile and repo config

Bug #273282 - Make install_qa_check() eqawarn about installation into
these deprecated directories:

    etc/app-defaults usr/man usr/info usr/X11R6 usr/doc usr/locale

Remove redundant elog_process() call in EbuildBuild._fetch_exit().

Fix the "alway overflow" eerror message to not use the message
intended for "implicit pointer".

Make the "always overflow" gcc warning code use a separate variable
from the "implicit pointer" code in install_qa_check(), so they
don't interfere.

Remove redundant local retval declaration in has_version().

Ensure that depgraph._show_unsatisfied_dep() doesn't suggest changes
to masked or forced USE flags.

In depgraph._show_unsatisfied_dep(), if the child package is masked then a
change to parent USE is not a valid solution (a normal mask message should
be displayed instead).

Bug #336595 - Make dbapi.update_ents() calls quiet when appropriate in
_global_updates().

global updates: Honor -q and don't repeat the legend

Make ebuild-ipc.py suppress IOError just like it does for EOFError
when the buffer is non-empty.

Make ebuild-ipc.py handle exceptions from pickle.loads().

Make ebuild-ipc.py display EOFError if no data is read from the
pipe.

Eliminate redunant elog_process() call in EbuildBuild._fetch_exit()
which fetch has failed, since _unlock_builddir() will handle it
later.

Add missing comma in tuple.

Bug #267103 - In action_build(), check for config file updates in
/etc/portage and warn if necessary.

Make the "warning: call to .* will always overflow destination buffer"
gcc warning fatal. Thanks to Diego Pettenò <flameeyes@g.o> for the
suggestion.

Bug #336644 - Make ebuild-ipc.py use array.fromfile() to read pickles
in single atomic non-blocking read() calls, similar to how
AbstractPollTask._read_buf() does it. If the read fails, exit with
status 2 so that best_version() and has_version() can detect the
error and die when necessary.

Bug #336644 - Make EbuildIpcDaemon use AbstractPollTask._read_buf(),
for better handling of errors like "IOError: [Errno 11] Resource
temporarily unavailable". TODO: Apply a similar fix to ebuild-ipc.py.

Split out a AbstractPollTask._read_buf() helper method.

Use EROOT in chk_updated_cfg_files() calls.

Bug #336499 - If RESTRICT=fetch is not set but pkg_nofetch is defined,
go ahead and run pkg_nofetch upon fetch failure. This allows specialized
messages to be displayed for problematic packages.

Make Package.metadata.defined_phases return all possible phases when
DEFINED_PHASES is undefined. This makes it easy to do containment
checks to see if it's safe to skip execution of a given phase.

In EbuildBuild._pre_clean_exit() is _default_exit instead of
_final_exit where appropriate.

Bug #336651 - Fix Scheduler._restart_if_necessary() to correctly
handle arguments like --exclude that are stored as a list since
they use the 'append' action.

Combine prefetch conditionals in EbuildFetcher.

Make EbuildFetcher always disable color in prefetch mode, since
prefetch output always goes to a log.

In update_config_files(), add a comment line showing a package move
that has been applied. This is intended to reduce the risk given
that /etc/portage is in CONFIG_PROTECT_MASK, as discussed in bug

Update --autounmask docs to note that it generates package.use settings.

repoman: Add "x-modular": "xorg-2" to InheritDeprecated check as requested by scarabeus (bug 326747, comment 6)

Import ifilterfalse as filterfalse, for python3 compatibility.

maintainer-info: Don't print 'no-herd' and don't print anything twice (bug 336550)

Add portage.util.unique_everseen

    List unique elements, preserving order. Remember all elements ever seen.
    Taken from itertools documentation.

Make action_info() validate PORTAGE_TMPDIR since it uses it to solve
bug #336503.

Bug #336503 - Use PORTAGE_TMPDIR for the emerge --sync server timestamp
tempfile, since with FEATURES=usersync, the default directory used by
the tempfile module may not be readbable by the usersync user.