Bug #334365 - Selectively ignore invalid metadata of installed packages
in cases when it's irrelevant (should re-evaluate these when new EAPIs
are deployed):

* EAPI.incompatible IUSE defaults
* EAPI.incompatible *DEPEND
* *DEPEND conditionals missing from IUSE
* SRC_URI.syntax

Bug #334365 - When depgraph.display_problems() shows the message
about masked installed packages, customize the InvalidDependString
display to show the path of the *DEPEND file that contains the
invalid dependency.

Do not include the whole input string in the use_reduce()
InvalidDependString messages since the string is often extremely
long which makes it flood the terminal when displayed. Instead
we'll have to rely on the caller to display react appropriately
to the exception (perhaps displaying the whole input if
appropriate).

Fix breakage from previous commit.

Use Package.visible to simplify visibility checks for installed
packages, no that it accounts for invalid metadata.

Fix Package._visible() to mask installed packages with invalid metadata.

Use dict.__iter__() instead of keys().

Use shallow copy for more immutable config attributes.

Make LicenseManager.__deepcopy__() do a shallow copy of _license_groups
since internal policy ensures lack of mutation, and fix memo usage
for the other immutable attributes.

Implement LicenseManager.__deepcopy__(), using shallow copy for
immutable attributes.

Disable autouse support and add a deprecation warning to the autouse()
function.

Use frozenset for config.usemask and useforce attributes, so there's
no need to copy them during clone operations. Also, there's no need
to copy config.puse since its an immutable string.

Bug #334365 - Make dep_check() less strict with respect to EAPI
constraints for installed packages since previous validation will
have already marked them as invalid when necessary and now we're
more interested in evaluating dependencies so that things like
--depclean work as well as possible in spite of partial
invalidity. Also, remove obsolete EAPI atom validation code from
_expand_new_virtuals() since it's handled by use_reduce() and
the Atom constructor now.

Various parse_metadata_use() fixes:

* Allow empty descriptions (backward compatibility).
* Support multiple 'use' elements.
* If multiple 'flag' elements have the same name attribute, use
  the first occurance.

Make parse_metadata_use() tolerate empty flag descriptions.

Make repoman ignore FEATURES=digest when in manifest-check mode.

Ensure SystemExit is never caught.

Make the Atom class add 'EAPI.incompatible' category attributes to
InvalidAtom exceptions, make use_reduce() raise InvalidDependString
exceptions that encapsulate InvalidAtom exceptions, and make
Package._validate_deps() use the InvalidAtom categories when
recording the invalid metadata for use by repoman. Also, remove
the EAPI.incompatible code from repoman that's no longer used.

Make parse_metadata_use() emulate the Element.itertext() method from
python-2.7, so egencache --update-use-local-desc gets all of the inner
text.

Make egencache only show a warning about FEATURES=metata-transfer if the
--update option is given.

Fix up error handling for egencache --update-use-local-desc.

egencache: Introduce the --update-use-local-desc action.

Fix repoman's allvalid variable to account for more possibly invalid
ebuilds.

Fix breakage in use_reduce() calls where token_class=Atom is incorrect.

Remove unused max_parents variable.

Fix slot_conflict_handler breakage when calling
Atom.unevaluated_atom.violated_conditionals() since in this case
the parent_use argument is required.

egencache: introduce the preliminary support for multiple actions.

Regroup the options, splitting them into 'Actions', 'Common' and
action-specific options. Always check whether the 'update' action was
chosen. Support catching multiple return codes.

Parse flag descriptions in repoman.utilities.parse_metadata_use().

Grab the USE descriptions from metadata.xml within parse_metadata_use().
Instead of a plain flag list, return a dict containing both the flag
names and their descriptions.

Make use_reduce() call Atom.evaluate_conditionals() when matchall is False,
and pass token_class=Atom in use_reduce() calls so that external
Atom.evaluate_conditionals() calls can be eliminated.

Disable 'unused local USE-description' check if there are any invalids.

If any of the ebuilds is considered invalid, the used_useflags list may
not be complete. Thus, performing the test could cause a lot of useless
noise.

Remove unused myiuse variable in repoman.

In slot_conflict_handler(), never pass parent_use to
Atom.violated_conditionals since the USE conditionals should have been
evaluated in dep_check() and we don't want to accidentally pass a
DependencyArg instance into _pkg_use_enabled().

In slot_conflict_handler._prepare_conflict_msg_and_check_for_specificity()
don't pass parent_use to Atom.violated_conditionals() since these atoms
already have already been through use_reduce() with the parent's USE.

Fix slot_conflict_handler._prepare_conflict_msg_and_check_for_specificity()
so that it only passes Package instances (not DependencyArg instances) into
_pkg_use_enabled().

Add PORTAGE_SIGPIPE_STATUS to config._environ_whitelist.

Add code to dep_check(), borrowed from _expand_new_virtuals(), to pass
eapi to use_reduce() when available.

Let use_reduce and Atom do EAPI checks

Fix UnboundLocalError for y on line 177 in _expand_new_virtuals()

Remove obsolete TODO comment.

Tweak grammar for unknown-features-warn message.

Use EAPI.incompatible repoman category for REQUIRED_USE setting in
EAPI that does not support it.

Make Package._validate_deps() use check_required_use() to validate
REQUIRED_USE.

Just raise InvalidDependString in cases when it shouldn't happen since
the package is not installed and it should have been validated and masked
already if necessary.

Make _get_masking_status() return masking reasons for installed packages
with invalid metadata, and remove show_invalid_depstring_notice()
calls for installed packages since depgraph.display_problems() will
now show the invalid metadata masking reasons when it displays installed
packages that are masked.

Bug #334365 - Fix depgraph._wrapped_select_pkg_highest_available_imp()
to avoid invalid or masked installed packages when necessary. This is
especially important for invalid packages since they need be replaced
so that their dependencies can be parsed for --depclean operations.

Make Package._validate_deps() check USE conditionals in SRC_URI.

Bug #334365 - Mask packages with invalid metadata as early as possible,
so that the depgraph won't select them unless they are already installed
and there is no other choice. This should trigger automatic reinstallation
of installed packages that have invalid metadata.

Add ebuild(1) support for FEATURES=digest.

Use a PORTAGE_SIGPIPE_STATUS variable to export 128 + SIGPIPE to the
ebuild environment. SIGPIPE is typically 13, but its better not to
assume that.

Make save_ebuild_env() filter assert_sigpipe_ok().

Bug #334365 - When parsing dependencies of installed packages in
depgraph._add_pkg_deps(), ignore invalid USE conditionals, since
these are a common problem and it's practical to ignore them for
installed packages.

TODO: For installed package, save any InvalidDependString info in
dynamic_config and wait until display_problems() to show it. For
packages that aren't installed, we should validate and mask them
before they are selected.

show_invalid_depstring_notice: Don't repeat the dep string

Fix repoman to support FEATURES=digest (reportedly it used to work
but has stopped working since recent changes).

Mention repoman support in the FEATURES=digest docs.

Remove portage.usedefaults since it's broken by the previous commit.

config: Move handling of USE related config files into UseManager

Fix fragile sets config file path handling for for ResolverPlayground
and remove unecessary setconfig_fallback() usage.

Fix WorldSelectedSet.singleBuilder() to use EROOT.

Add EROOT support to setconfig_fallback().

Add EROOT support to the @module-rebuild package set.

Add EROOT support to regenworld.

Make regenworld write changes to a temporary file, and tell the user
to update the file manually if desired.

When parsing package.env, pass the same tolerant and allow_sourcing
arguments to getconfig() that are used when parsing make.conf.

Use deepcopy for LicenseManger, since I remove clone support from the
constructor.

Use open() instead of file(), for python3.

Tests: Add LicenseManager tests

ExtendedAtomDict: Add __eq__

ResolverPlayground: Add ability to create config files and sets

Remove LicenseManager.__deepcopy__() since the default implementation
seems to work fine.

Implement LicenseManager.__deepcopy__().

Fix imports in _config submodules.

Bug #334319 - Don't call config.backup_changes("FEATURES") because it's
no longer needed and it causes problems with environment overrides
of FEATURES.

* Make dblink instantiate the ConfigProtect object on demand instead of
  in the constructor, since it triggers lots of stat calls and it's
  wasteful for iter_owners.
* Fix dblink ConfigProtect construction to use EROOT.

Bug #334265 - Fix AttributeError triggered by empty herd element in
check_metadata_herds().

More _pkg_use_enabled fixes

Atom.violated_conditionals: Always treat deps as violated if the flag is not in IUSE

Bug #334253 - Fix breakage in FEATURES=test-fail-continue logic.

config: Move _prune_incremental to helper

config: Move features_set into its own file

config: Split out LicenseManager and helper

ExtendedAtomDict: Add __delitem__

Use Package.iuse.is_valid_flag() to account for implicit IUSE.

repoman: Let repoman check for flags missing from IUSE

Make config.setcpv() trigger regenerate() if the package from the
previous setcpv  call had package.env settings which modified
FEATURES. This ensures that self.features is accurate (hopefully
solving the issue in bug #44796, comment #77).

Handle SIGPIPE when unpack() extracts tar files through a pipe (bug #309001).

When checking ${PIPESTATUS[@]} for extraction of tar files in unpack(),
use a new assert_sigpipe_ok() function which behaves the same as the
existing assert() function except that it tolerates pipe writers being
killed by SIGPIPE.

* Use iterators instead of keys() when possible.
* Use iterators instead of sets for set.intersection() calls.
* Use digraph.__iter__ and __contains__ as shortcuts to digraph.nodes
  access.

In depgraph._select_pkg_highest_available_imp(), make sure
allow_unstable_keywords is True before adding a package to
_needed_unstable_keywords.

Pass a keyword hint from getmaskingstatus() to the autounmask code.

use_reduce: Give a hint to IUSE in the 'use flag '%s' is not referencable in conditional' error

Add 'candy' to SUPPORTED_FEATURES.

Make recursive grablines() ignore the same directories as
portage.listdir(), and do the same for update_config_files().

Bug #318241 - Include LICENSE file in release tarballs.

Bug #309907 - Update more config files for package moves:
package.accept_keywords, package.env, and package.properties.

Fix spelling in zlib.error message.

Handle zlib.error when reading compressed build logs via GzipFile.

Allow more time for natural exit of the ebuild process after it has
called the exit command via IPC.

Don't copy the src directory because it doesn't exist anymore.

Remove the python-missingos module since apparently nobody has needed
it for a long time.

Remove support for the missingos module since apparently nobody has needed
it for a long time.

Remove the bsd-chflags module since it hasn't been used for some time
(python as read support and we spawn binaries for any necessary
modifications).