Move traversal of world_sets from calc_depclean() to
depgraph._complete_graph().

With this patch, nested set traversal is only used for removal
operations like --depclean and --prune. A later patch will introduce
similar traversal for all operations, in order to solve bug #337540.

Bug #337702 - Fix config.load_best_module() to raise ImportError from
the indentation block that caught it.

In python3, we get a "RuntimeError: No active exception to reraise"
exception if we try to call raise after completion of the indentation
block were the last exception was caught.

Fix misspelling of DependencyArg.__eq__() method.

Make Package __str__ and __unicode__ methods more like DependencyArg.

Make RepoDisplay __str__ and __unicode__ methods more like
DependencyArg.

Bug #337603 - Fix invalid '/etc/make.profile is not a symlink' message
displayed when /etc/portage/make.profile is perfectly valid.

Make EbuildPhase display "Package" and "Repository" instead of "CPV"
and "REPO" the the start of the build log.

Add missing noiselevel parameter to writemsg_stdout() call from previous
commit.

Make UseFlagDisplay __str__ and __unicode__ methods more like
DependencyArg, and add tests.

Update docompress helper docs from bug #260118, comment #26.

Make PortageException __str__ and __unicode__ methods more like
DependencyArg, and add tests.

Add tests for DependencyArg __str__ and __unicode__ methods.

Implement DependencyArg __equals__, __hash__, and __unicode__ methods.

Fix typo in comment.

Bug #337465 - Disable EbuildIpcDaemon on FreeBSD since it doesn't
work yet.

Tweak stack_lists() strict_warn_for_unmatched_removal logic.

Bug #337180 - Add a --unmatched-removal option for stricter checking
of package.mask and package.unmask files for unmatched removal atoms.

Bug #337180 - Add a strict_warn_for_unmatched_removal parameter for
stack_lists() that will be useful for repoman, and disable it by default.

Limit the spam caused by unmatched removal atoms

In Package._validate_deps(), force unicode format string in
check_required_use() exception handling (for python-2.x safety).

Make Package._metadata_exception() use unicode format strings in order
to avoid UnicodeDecodeError in python-2.x.

This issue was reported in forum thread
http://forums.gentoo.org/viewtopic-t-844623.html where the following
traceback was posted:

  File "/usr/lib/portage/pym/_emerge/FakeVartree.py", line 195, in _pkg
    type_name="installed")
  File "/usr/lib/portage/pym/_emerge/Package.py", line 64, in __init__
    self._validate_deps()
  File "/usr/lib/portage/pym/_emerge/Package.py", line 93, in _validate_deps
    self._metadata_exception(k, e)
  File "/usr/lib/portage/pym/_emerge/Package.py", line 242, in _metadata_exception
    "%s: %s in '%s'" % (k, e, path))
UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 22: ordinal not in range(128)

Bug #336692 - When stack_lists() detects unmatched removal atoms,
account for cases in which the same profile is inherited multiple times
in the same stack.

Tests: test isvalidatom ::repo syntax support

ResolverPlayground: Add multi repo support

Add :.repo syntax support for portage.util.{grabfile_package,grabdict_package}

portage.dep: Add support for ::repo syntax to all functions and classes

This also adds the dep_getrepo() function

In doebuild(), skip PORTAGE_BUILDDIR locking if it's already locked
or returnpid is True.

Make IpcDaemonTestCase use a finally block to unlock PORTAGE_BUILDDIR.

Make ebuild-ipc.py close the output_file before trying to re-open it
after it has timed out.

Bug #336433 - Don't filter the DCCC_PATH variable from environment since
that breaks distcc ebuilds.

Only initialize Package.inherited to an empty set when it is None.

Ensure that Package.inherited is always initialized, even if there is no
INHERITED metadata available (like for binary packages).

Add option -s to docompress command.

Make EbuildBuildDir.unlock() use an asynchronous lock when locking the
category directory for removal.

Revert "Remove ebuild-helpers/preplib (bug 102297)"

This reverts commit 811689f349a91b44448bc8e294903abf990eac45. The preplib
helper is still used by at least by stable sys-libs/lib-compat ebuilds.

Make EbuildBuildDir use the PORTAGE_BUILDDIR variable instead of the
dir_path attribute.

Make Binpkg call doebuild_environment() before constructing
EbuildBuildDir, so PORTAGE_BUILDDIR is initialized first.

Fix some typos.

Don't export PORTAGE_BUILDIR_LOCKED to the ebuild environment.

Add a config.pkeywordsdict property for backward compatibility.

In KeywordsManager.pkeywordsdict save values as tuples instead of lists.

config: Add KeywordsManager

Make ebuild-ipc timeout messages show which operation timed out.

Bug #336142 - Make ebuild-ipc.py keep trying to communicate indefinitely,
as long as $PORTAGE_BUILDDIR is locked.

Make IpcDaemonTestCase use EbuildBuildDir for lock creation.

Make AbstractEbuildProcess lock PORTAGE_BUILDIR if it's not already
locked.

Bug #336142 - Use EbuildBuildDir for threaded locking of PORTAGE_BUILDDIR
inside dblink.unmerge(), so that the scheduler can concurrently service
ipc calls in the main thread.

Use EbuildBuildDir for PORTAGE_BUILDDIR locking inside doebuild().

Make EbuildBuild call doebuild_environment() so that EbuildBuildDir
doesn't need to.

Bug #336142 - Add support for using a thread to wait for locks inside
EbuildBuildDir.lock() so that the scheduler can concurrently service ipc
calls in the main thread.

Make dblink.lockdb() use AsynchronousLock.

Add a new AsynchronousLock class that uses the portage.locks module to
acquire a lock asynchronously, using a background thread.

Make config.setinst() and get_virts_p() call getvirtuals() in order
to ensure that we don't trigger the _treeVirtuals assertion in
VirtualsManager._compile_virtuals().

In depgraph._load_vdb(), after calling FakeVartree.sync(), update
self._frozen_config.pkgsettings so that it has populated virtuals.

This solves allows us to avoid triggering an AssertionError reported
at http://forums.gentoo.org/viewtopic-t-844519.html with the following
traceback:

Calculating dependencies... done!
Traceback (most recent call last):
  File "/usr/bin/emerge", line 43, in <module>
    retval = emerge_main()
  File "/usr/lib/portage/pym/_emerge/main.py", line 1683, in emerge_main
    myopts, myaction, myfiles, spinner)
  File "/usr/lib/portage/pym/_emerge/actions.py", line 204, in action_build
    settings, trees, mtimedb, myopts, myparams, spinner)
  File "/usr/lib/portage/pym/_emerge/depgraph.py", line 6047, in resume_depgraph
    myparams, spinner)
  File "/usr/lib/portage/pym/_emerge/depgraph.py", line 6070, in _resume_depgraph
    skip_masked=skip_masked)
  File "/usr/lib/portage/pym/_emerge/depgraph.py", line 5617, in _loadResumeCommand
    if not self._add_pkg(task, None):
  File "/usr/lib/portage/pym/_emerge/depgraph.py", line 893, in _add_pkg
    pkgsettings.setinst(pkg.cpv, pkg.metadata)
  File "/usr/lib/portage/pym/portage/package/ebuild/config.py", line 1757, in setinst
    self._virtuals_manager.add_depgraph_virtuals(mycpv, virts)
  File "/usr/lib/portage/pym/portage/package/ebuild/_config/VirtualsManager.py", line 199, in add_depgraph_virtuals
    self.getvirtuals()
  File "/usr/lib/portage/pym/portage/package/ebuild/_config/VirtualsManager.py", line 156, in getvirtuals
    self._compile_virtuals()
  File "/usr/lib/portage/pym/portage/package/ebuild/_config/VirtualsManager.py", line 131, in _compile_virtuals
    "any query about virtuals"
AssertionError: _populate_treeVirtuals() must be called before any query about virtuals

Tests: Add use_reduce test case for bug 120374

Remove ebuild-helpers/preplib (bug 102297)

Tests: Add resolver/test_missing_iuse_and_evaluated_atoms to make sure we don't miss a "missing IUSE"

Don't miss a "missing IUSE" because of [foo?] -> [] evaluations.

This patch also drops flags with EAPI 4 use dep defaults from use.required.

Bug #336142 - When looking of packages that own files for file collisions
inside dblink.treewalk(), periodically yield to the scheduler so that
it can service ipc calls.

Make sure atoms in profiles follow the profiles EAPI

Bug #336873 - Add a leading comma when matching --hash-style=gnu
in LDFLAGS, in order to try and filter out invalid settings.

Bug #336142 - Add support for using a thread to wait for locks inside
dblink.lockdb() so that the scheduler can concurrently service ipc
calls in the main thread.

Add a 'condition' keyword argument to PollScheduler._schedule_wait()
which is a callable that should return True when it is desirable for
the _schedule_wait() method to return.

Bug #337031 - Don't make "always overflow destination buffers" gcc
warnings fatal for now.

Bug #336142 - Use a longer timeout for ebuild-ipc, in case the system is
heavily loaded.

Bug #336875 - Don't reference errno.ETIME since it's undefined on FreeBSD.

When fetching distfiles inside digestgen(), ignore conditional parts
of RESTRICT since they don't apply unconditionally. Assume such
conditionals only apply on the client side where digestgen() does not
need to be called.

For digestgen(), add a matchnone parameter to use_reduce() that is the
opposite of matchall.

Fix digestgen() to respect RESTRICT=fetch.

Make spawn_nofetch() call elog_process().

Make the mail_summary elog module copy needed variables from the config
instance, since we don't need to hold a reference for the whole thing.
This also makes it possible to rely on per-package variable settings that
may have come from /etc/portage/package.env, since we'll be isolated from
any future mutations of mysettings.

Fix typo in comment.

Make digestgen() use spawn_nofetch() when necessary, since fetch()
no longer does it.

Fix typo in comment.

Since pkg_nofetch is no longer called from fetch(), add a new
spawn_nofetch() support for doebuild() and other fetch() callers
to use.

In doebuild(), don't trigger prepare_build_dirs() for the fetch phase
with RESTRICT=fetch since fetch() doesn't call pkg_nofetch anymore.

Remove pkg_nofetch code from the fetch() function since it's currently broken (doebuild_environment raises TypeError due to missing mydbapi parameter) and this is a poor place to spawn pkg_nofetch anyway, especially given that the caller does not even pass in a portdbapi instance. For now, relocate the pkg_nofetch execution to EbuildBuild so that it works for emerge. TODO: Add pkg_nofetch support to fetch() callers where appropriate.

Fix typos in comments.

config: Handle -atoms properly

Before this change -atoms could leak out of the place where they were defined.
Different repos could influence their profile/package.mask.
Profiles could influence profile/package.mask.
Note that the latter is not desirable because other than normal atoms, -atoms
have to exactly match the atom they remove. Because of this, the place specifying
the -atom has to now which atoms exists, which can only be the case if it (or in case
of a profiles, a parent profile) defines it.

portage.util: Add optional remember_source_file parameter to some functions to make them return (token, file) pairs

This is useful to name the token's source file in error messages.
stack_lists has another new optional parameter: warn_for_unmatched_removal, which
warns for -atoms that don't remove anything.

config/p.mask: config from other repos than PORTDIR comes before profiles (like PORTDIR)

Tests: ebuild/test_config: Make sure -atoms in package.mask work as PMS wants it

ResolverPlayground: Add ability to create a basic profile and repo config

Bug #273282 - Make install_qa_check() eqawarn about installation into
these deprecated directories:

    etc/app-defaults usr/man usr/info usr/X11R6 usr/doc usr/locale

Remove redundant elog_process() call in EbuildBuild._fetch_exit().

Fix the "alway overflow" eerror message to not use the message
intended for "implicit pointer".

Make the "always overflow" gcc warning code use a separate variable
from the "implicit pointer" code in install_qa_check(), so they
don't interfere.

Remove redundant local retval declaration in has_version().

Ensure that depgraph._show_unsatisfied_dep() doesn't suggest changes
to masked or forced USE flags.

In depgraph._show_unsatisfied_dep(), if the child package is masked then a
change to parent USE is not a valid solution (a normal mask message should
be displayed instead).

Bug #336595 - Make dbapi.update_ents() calls quiet when appropriate in
_global_updates().

global updates: Honor -q and don't repeat the legend

Make ebuild-ipc.py suppress IOError just like it does for EOFError
when the buffer is non-empty.

Make ebuild-ipc.py handle exceptions from pickle.loads().

Make ebuild-ipc.py display EOFError if no data is read from the
pipe.

Eliminate redunant elog_process() call in EbuildBuild._fetch_exit()
which fetch has failed, since _unlock_builddir() will handle it
later.

Add missing comma in tuple.

Bug #267103 - In action_build(), check for config file updates in
/etc/portage and warn if necessary.

Make the "warning: call to .* will always overflow destination buffer"
gcc warning fatal. Thanks to Diego Pettenò <flameeyes@g.o> for the
suggestion.

Bug #336644 - Make ebuild-ipc.py use array.fromfile() to read pickles
in single atomic non-blocking read() calls, similar to how
AbstractPollTask._read_buf() does it. If the read fails, exit with
status 2 so that best_version() and has_version() can detect the
error and die when necessary.