Tests: Add resolver/test_missing_iuse_and_evaluated_atoms to make sure we don't miss a "missing IUSE"

Don't miss a "missing IUSE" because of [foo?] -> [] evaluations.

This patch also drops flags with EAPI 4 use dep defaults from use.required.

Bug #336142 - When looking of packages that own files for file collisions
inside dblink.treewalk(), periodically yield to the scheduler so that
it can service ipc calls.

Make sure atoms in profiles follow the profiles EAPI

Bug #336873 - Add a leading comma when matching --hash-style=gnu
in LDFLAGS, in order to try and filter out invalid settings.

Bug #336142 - Add support for using a thread to wait for locks inside
dblink.lockdb() so that the scheduler can concurrently service ipc
calls in the main thread.

Add a 'condition' keyword argument to PollScheduler._schedule_wait()
which is a callable that should return True when it is desirable for
the _schedule_wait() method to return.

Bug #337031 - Don't make "always overflow destination buffers" gcc
warnings fatal for now.

Bug #336142 - Use a longer timeout for ebuild-ipc, in case the system is
heavily loaded.

Bug #336875 - Don't reference errno.ETIME since it's undefined on FreeBSD.

When fetching distfiles inside digestgen(), ignore conditional parts
of RESTRICT since they don't apply unconditionally. Assume such
conditionals only apply on the client side where digestgen() does not
need to be called.

For digestgen(), add a matchnone parameter to use_reduce() that is the
opposite of matchall.

Fix digestgen() to respect RESTRICT=fetch.

Make spawn_nofetch() call elog_process().

Make the mail_summary elog module copy needed variables from the config
instance, since we don't need to hold a reference for the whole thing.
This also makes it possible to rely on per-package variable settings that
may have come from /etc/portage/package.env, since we'll be isolated from
any future mutations of mysettings.

Fix typo in comment.

Make digestgen() use spawn_nofetch() when necessary, since fetch()
no longer does it.

Fix typo in comment.

Since pkg_nofetch is no longer called from fetch(), add a new
spawn_nofetch() support for doebuild() and other fetch() callers
to use.

In doebuild(), don't trigger prepare_build_dirs() for the fetch phase
with RESTRICT=fetch since fetch() doesn't call pkg_nofetch anymore.

Remove pkg_nofetch code from the fetch() function since it's currently broken (doebuild_environment raises TypeError due to missing mydbapi parameter) and this is a poor place to spawn pkg_nofetch anyway, especially given that the caller does not even pass in a portdbapi instance. For now, relocate the pkg_nofetch execution to EbuildBuild so that it works for emerge. TODO: Add pkg_nofetch support to fetch() callers where appropriate.

Fix typos in comments.

config: Handle -atoms properly

Before this change -atoms could leak out of the place where they were defined.
Different repos could influence their profile/package.mask.
Profiles could influence profile/package.mask.
Note that the latter is not desirable because other than normal atoms, -atoms
have to exactly match the atom they remove. Because of this, the place specifying
the -atom has to now which atoms exists, which can only be the case if it (or in case
of a profiles, a parent profile) defines it.

portage.util: Add optional remember_source_file parameter to some functions to make them return (token, file) pairs

This is useful to name the token's source file in error messages.
stack_lists has another new optional parameter: warn_for_unmatched_removal, which
warns for -atoms that don't remove anything.

config/p.mask: config from other repos than PORTDIR comes before profiles (like PORTDIR)

Tests: ebuild/test_config: Make sure -atoms in package.mask work as PMS wants it

ResolverPlayground: Add ability to create a basic profile and repo config

Bug #273282 - Make install_qa_check() eqawarn about installation into
these deprecated directories:

    etc/app-defaults usr/man usr/info usr/X11R6 usr/doc usr/locale

Remove redundant elog_process() call in EbuildBuild._fetch_exit().

Fix the "alway overflow" eerror message to not use the message
intended for "implicit pointer".

Make the "always overflow" gcc warning code use a separate variable
from the "implicit pointer" code in install_qa_check(), so they
don't interfere.

Remove redundant local retval declaration in has_version().

Ensure that depgraph._show_unsatisfied_dep() doesn't suggest changes
to masked or forced USE flags.

In depgraph._show_unsatisfied_dep(), if the child package is masked then a
change to parent USE is not a valid solution (a normal mask message should
be displayed instead).

Bug #336595 - Make dbapi.update_ents() calls quiet when appropriate in
_global_updates().

global updates: Honor -q and don't repeat the legend

Make ebuild-ipc.py suppress IOError just like it does for EOFError
when the buffer is non-empty.

Make ebuild-ipc.py handle exceptions from pickle.loads().

Make ebuild-ipc.py display EOFError if no data is read from the
pipe.

Eliminate redunant elog_process() call in EbuildBuild._fetch_exit()
which fetch has failed, since _unlock_builddir() will handle it
later.

Add missing comma in tuple.

Bug #267103 - In action_build(), check for config file updates in
/etc/portage and warn if necessary.

Make the "warning: call to .* will always overflow destination buffer"
gcc warning fatal. Thanks to Diego Pettenò <flameeyes@g.o> for the
suggestion.

Bug #336644 - Make ebuild-ipc.py use array.fromfile() to read pickles
in single atomic non-blocking read() calls, similar to how
AbstractPollTask._read_buf() does it. If the read fails, exit with
status 2 so that best_version() and has_version() can detect the
error and die when necessary.

Bug #336644 - Make EbuildIpcDaemon use AbstractPollTask._read_buf(),
for better handling of errors like "IOError: [Errno 11] Resource
temporarily unavailable". TODO: Apply a similar fix to ebuild-ipc.py.

Split out a AbstractPollTask._read_buf() helper method.

Use EROOT in chk_updated_cfg_files() calls.

Bug #336499 - If RESTRICT=fetch is not set but pkg_nofetch is defined,
go ahead and run pkg_nofetch upon fetch failure. This allows specialized
messages to be displayed for problematic packages.

Make Package.metadata.defined_phases return all possible phases when
DEFINED_PHASES is undefined. This makes it easy to do containment
checks to see if it's safe to skip execution of a given phase.

In EbuildBuild._pre_clean_exit() is _default_exit instead of
_final_exit where appropriate.

Bug #336651 - Fix Scheduler._restart_if_necessary() to correctly
handle arguments like --exclude that are stored as a list since
they use the 'append' action.

Combine prefetch conditionals in EbuildFetcher.

Make EbuildFetcher always disable color in prefetch mode, since
prefetch output always goes to a log.

In update_config_files(), add a comment line showing a package move
that has been applied. This is intended to reduce the risk given
that /etc/portage is in CONFIG_PROTECT_MASK, as discussed in bug

Update --autounmask docs to note that it generates package.use settings.

repoman: Add "x-modular": "xorg-2" to InheritDeprecated check as requested by scarabeus (bug 326747, comment 6)

Import ifilterfalse as filterfalse, for python3 compatibility.

maintainer-info: Don't print 'no-herd' and don't print anything twice (bug 336550)

Add portage.util.unique_everseen

    List unique elements, preserving order. Remember all elements ever seen.
    Taken from itertools documentation.

Make action_info() validate PORTAGE_TMPDIR since it uses it to solve
bug #336503.

Bug #336503 - Use PORTAGE_TMPDIR for the emerge --sync server timestamp
tempfile, since with FEATURES=usersync, the default directory used by
the tempfile module may not be readbable by the usersync user.

Use a longer dependency chain in DepcleanWithDepsTestCase, to make
sure unmerge order is correct.

Use RDEPEND for depclean tests since DEPEND is less relevant.

Make ResolverPlayground.run() use try/finally when saving/restoring
global variable settings.

Fix dep_zapdeps() to handle satisfied or optional builttime deps
appropriately.

Make UnmergeDepPriority automatically set optional=True for
buildtime dependencies.

Fix broken dep_check() call in calc_depclean() to use
depgraph._select_atoms() instead.

Fix typo in comment.

Adjust DepcleanWithInstalledMaskedTestCase now that bug #332719
is fixed.

Bug #332719 - For removal operations, use _dep_check_composite_db
for availability and visibilty checks. This provides consistency
with install operations, so we don't get install/uninstall cycles.

Add a note about PORTAGE_PYM_PATH in LazyImportPortageBaselineTestCase.

Omit PYTHONPATH setting in runtests.sh since this should be handled
internally by pym/portage/tests/runTests.

Make LazyImportPortageBaselineTestCase do a sys.path insert since
PYTHONPATH apparently isn't strong enough to fix the buildbot.

Fix LazyImportPortageBaselineTestCase to export PYTHONPATH to the
subprocess, to ensure that the correct version of portage is
imported. This should fix failures on the buildbot.

Remove newlib from ebuild(5) as it does not exist.

Make previous commit reference self._depgraph._pkg_visibility_check().

In depgraph._dep_check_composite_db._visible(), wrap installed package
visiblity checks with self._pkg_visibility_check().

Adjust OwnersSet configurations to omit $EROOT since, and add a
note about OwnersSet.mapPathsToAtoms() behavior in the docstring.

Tests: Add resolver/test_depclean

Mark some messages for localization.

Add another _ENABLE_DYN_LINK_MAP conditional in parse_opts().

Disable the --depclean-lib-check option when _ENABLE_DYN_LINK_MAP
is False.

Filter the FEATURES variable out of the environment between phases,
so that it always matches the latest value from the config class
and it can never be stale. With the ability to use package.env for
per-package FEATURES settings, there's no need for bashrc to make
persistent modifications to the FEATURES variable.

Use localization for the dos line-endings warning message in getconfig.

Move the stale elog cleanup code from AbstractEbuildProcess to
EbuildPhase.

Move the stale elog cleanup code from _doebuild_spawn() to
AbstractEbuildProcess._start() since that's a better place
if we decide to use phase_completed_file skip the spawning
of bash (dyn_unpack automatic clean/re-unpack logic could
be migrated here too).

Fix dyn_setup 'already setup' message to refer to setup instead of
prepare.

Bug #336349 - Make getconfig() warn about dos-style line endings in
config files, since that prevents people from being able to source
them with bash.

Fix broken $PORTAGE_BUILDDIR/.$EBUILD_PHASEed path generation inside
_doebuild_spawn().

Move stale elog cleanup code from ebuild.sh to _doebuild_spawn(), so
that elog messages generated by bashrc are preserved when appropriate.

Make the deprecation warning for the first pordbapi constructor
parameter quiet for now, to give people a wider migration window.

Fix confusing deprecation message for the first parameter of the
portdbapi constructor.

Bug #336338 - Document FEATURES=candy.

Bug #336356 - Fix AttributeError triggered when ebuild(1) invokes the
test phase.

Bug #336350 - Add back the is_selinux_enabled() function.

Add support for a exclude-files option to OwnerSet, and use it to
implement a new @x11-module-rebuild set.

Add a new package set called @unavailable-binaries which matches
packages that are installed for which corresponding binary packages
are not available.

Make portage.cache.anydbm use absolute_import instead of the the
__import__() approach it currently uses.

Force absolute import in glsa.py since otherwise the xml.dom.minidom
import tries to use the new portage.xml module.

Define EBUILD_MASTER_PID earlier in ebuild.sh, before $EBUILD is
sourced.