Update copyright headers.

Implement controllable compression and docompress, bug #273633.

Make egencache --update-use-local-desc use codecs.open() to write to
use.local.desc (fixes possible unicode issues with python3).

For egencache --preserve-comments, probe comments in binary mode in
order to avoid potential character encoding issues (both in terms
of decoding and in calculating file position given variable-width
character encodings like UTF-8.

Simplify the empty USE conditional /var/db/pkg metadata code in
_post_src_install_uid_fix(), and handle one more case.

egencache: Add comment preserving to --update-use-local-desc.

When evaluating USE conditional metadata for /var/db/pkg inside
_post_src_install_uid_fix(), ensure non-empty entries are removed
if the evaluation results in an empty value.

If there are circular dependencies, and circular_dependency_handler
doesn't have a message, eliminate root nodes before calling
digraph.debug_print(). If --debug is enabled then do this even if
circular_dependency_handler has a message.

Bug #335055 - Fix "TypeError: argument of type 'NoneType' is not
iterable" raised from first call to VirtualsManager.get_virts_p()
when trying to expand the category for a package name.

In depgraph._show_unsatisfied_dep(), show some debug info if
Atom.violated_conditionals() raises InvalidAtom.

Add --use-local-desc-output to egencache man page.

Support specifying an alternate output file for --update-use-local-desc.

Bug #334935 - Fix broken reference to config.pmaskdict inside
getmaskingreason().

Use StopIteration to exit nested loops.

Add support for IUSE.missing checks in conditional USE dependencies.

Add the chflags and selinux values to SUPPORTED_FEATURES.

Define a cmp work-alike function for use in the egencache
--update-use-local-desc code, since it's ugly to have so
many repetitions of this construct.

Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

Fix breakage caused ignorance of /etc/portage/{arch.list,categories}
config overrides.

Fix some typos.

Fix _get_legacy_global() so that it does't pass in the target_root
parameter to create_trees() unless ROOT is set. This is required
for make.conf ROOT override to work with LocationsManager.

Fix the config constructor to pass missing parameters to the
LocationsManager constructor.

Bug #334817 - Make the make.conf.5 man page document the fact that
/etc/portage/make.conf overrides /etc/make.conf.

Fix Package._validate_deps() to pass matchall=True to use_reduce().

Add egencache --update-use-local-desc action to the man page.

config: Remove last traces of autouse

Use InvalidDependString import instead of
portage.exception.InvalidDependString.

Use InvalidDependString import instead of
portage.exception.InvalidDependString.

Use Package._metadata_exception() to handle invalid LICENSE, PROPERTIES,
PROVIDE, and RESTRICT, and generate IUSE.missing errors for repoman
when appropriate.

Fix breakage in egencache --update-use-local-desc code.

Use cmp_sort_key() for python3 compatibility.

Support returning multiple flag descriptions when restrict is used.

Return a dict of dicts in parse_metadata_use(), with second-level keys
being the restrict strings (or None when no restrict). When generating
use.local.desc, use the description from the possibly-highest-matching
atom.

Remove unused imports.

Bug #334817 - Make genconfig() warn about EISDIR instead of raising
a IOError.

Fix broken reference to config.pmaskdict for repoman --without-mask.

fix ppkg type handling in slot_conflict_handler

ecompressdir: use proper exit value

config: Add special_env_vars

config: Add LocationsManager

config: Add VirtualsManager

config: Add MaskManager

config: Avoid copying _license_manager

Strictly speaking _license_manager is not immutable. Users need to ensure that
extract_global_changes() is called right after __init__ (if at all).
It also has the mutable member _undef_lic_groups. It is used to track
undifiend license groups, to not display an error message for the same
group again and again. Because of this, it's useful to share it between
all LicenseManager instances.

repoman: Fix NameError on musedict when metadata is not available.

Add a IUSE.missing repoman category for packages that have a USE
conditional which references a flag that is not listed in IUSE.
Also split out a Package._metadata_exception() method to handle
IUSE.missing for *DEPEND and SRC_URI.

Bug #334365 - Selectively ignore invalid metadata of installed packages
in cases when it's irrelevant (should re-evaluate these when new EAPIs
are deployed):

* EAPI.incompatible IUSE defaults
* EAPI.incompatible *DEPEND
* *DEPEND conditionals missing from IUSE
* SRC_URI.syntax

Bug #334365 - When depgraph.display_problems() shows the message
about masked installed packages, customize the InvalidDependString
display to show the path of the *DEPEND file that contains the
invalid dependency.

Do not include the whole input string in the use_reduce()
InvalidDependString messages since the string is often extremely
long which makes it flood the terminal when displayed. Instead
we'll have to rely on the caller to display react appropriately
to the exception (perhaps displaying the whole input if
appropriate).

Fix breakage from previous commit.

Use Package.visible to simplify visibility checks for installed
packages, no that it accounts for invalid metadata.

Fix Package._visible() to mask installed packages with invalid metadata.

Use dict.__iter__() instead of keys().

Use shallow copy for more immutable config attributes.

Make LicenseManager.__deepcopy__() do a shallow copy of _license_groups
since internal policy ensures lack of mutation, and fix memo usage
for the other immutable attributes.

Implement LicenseManager.__deepcopy__(), using shallow copy for
immutable attributes.

Disable autouse support and add a deprecation warning to the autouse()
function.

Use frozenset for config.usemask and useforce attributes, so there's
no need to copy them during clone operations. Also, there's no need
to copy config.puse since its an immutable string.

Bug #334365 - Make dep_check() less strict with respect to EAPI
constraints for installed packages since previous validation will
have already marked them as invalid when necessary and now we're
more interested in evaluating dependencies so that things like
--depclean work as well as possible in spite of partial
invalidity. Also, remove obsolete EAPI atom validation code from
_expand_new_virtuals() since it's handled by use_reduce() and
the Atom constructor now.

Various parse_metadata_use() fixes:

* Allow empty descriptions (backward compatibility).
* Support multiple 'use' elements.
* If multiple 'flag' elements have the same name attribute, use
  the first occurance.

Make parse_metadata_use() tolerate empty flag descriptions.

Make repoman ignore FEATURES=digest when in manifest-check mode.

Ensure SystemExit is never caught.

Make the Atom class add 'EAPI.incompatible' category attributes to
InvalidAtom exceptions, make use_reduce() raise InvalidDependString
exceptions that encapsulate InvalidAtom exceptions, and make
Package._validate_deps() use the InvalidAtom categories when
recording the invalid metadata for use by repoman. Also, remove
the EAPI.incompatible code from repoman that's no longer used.

Make parse_metadata_use() emulate the Element.itertext() method from
python-2.7, so egencache --update-use-local-desc gets all of the inner
text.

Make egencache only show a warning about FEATURES=metata-transfer if the
--update option is given.

Fix up error handling for egencache --update-use-local-desc.

egencache: Introduce the --update-use-local-desc action.

Fix repoman's allvalid variable to account for more possibly invalid
ebuilds.

Fix breakage in use_reduce() calls where token_class=Atom is incorrect.

Remove unused max_parents variable.

Fix slot_conflict_handler breakage when calling
Atom.unevaluated_atom.violated_conditionals() since in this case
the parent_use argument is required.

egencache: introduce the preliminary support for multiple actions.

Regroup the options, splitting them into 'Actions', 'Common' and
action-specific options. Always check whether the 'update' action was
chosen. Support catching multiple return codes.

Parse flag descriptions in repoman.utilities.parse_metadata_use().

Grab the USE descriptions from metadata.xml within parse_metadata_use().
Instead of a plain flag list, return a dict containing both the flag
names and their descriptions.

Make use_reduce() call Atom.evaluate_conditionals() when matchall is False,
and pass token_class=Atom in use_reduce() calls so that external
Atom.evaluate_conditionals() calls can be eliminated.

Disable 'unused local USE-description' check if there are any invalids.

If any of the ebuilds is considered invalid, the used_useflags list may
not be complete. Thus, performing the test could cause a lot of useless
noise.

Remove unused myiuse variable in repoman.

In slot_conflict_handler(), never pass parent_use to
Atom.violated_conditionals since the USE conditionals should have been
evaluated in dep_check() and we don't want to accidentally pass a
DependencyArg instance into _pkg_use_enabled().

In slot_conflict_handler._prepare_conflict_msg_and_check_for_specificity()
don't pass parent_use to Atom.violated_conditionals() since these atoms
already have already been through use_reduce() with the parent's USE.

Fix slot_conflict_handler._prepare_conflict_msg_and_check_for_specificity()
so that it only passes Package instances (not DependencyArg instances) into
_pkg_use_enabled().

Add PORTAGE_SIGPIPE_STATUS to config._environ_whitelist.

Add code to dep_check(), borrowed from _expand_new_virtuals(), to pass
eapi to use_reduce() when available.

Let use_reduce and Atom do EAPI checks

Fix UnboundLocalError for y on line 177 in _expand_new_virtuals()

Remove obsolete TODO comment.

Tweak grammar for unknown-features-warn message.

Use EAPI.incompatible repoman category for REQUIRED_USE setting in
EAPI that does not support it.

Make Package._validate_deps() use check_required_use() to validate
REQUIRED_USE.

Just raise InvalidDependString in cases when it shouldn't happen since
the package is not installed and it should have been validated and masked
already if necessary.

Make _get_masking_status() return masking reasons for installed packages
with invalid metadata, and remove show_invalid_depstring_notice()
calls for installed packages since depgraph.display_problems() will
now show the invalid metadata masking reasons when it displays installed
packages that are masked.

Bug #334365 - Fix depgraph._wrapped_select_pkg_highest_available_imp()
to avoid invalid or masked installed packages when necessary. This is
especially important for invalid packages since they need be replaced
so that their dependencies can be parsed for --depclean operations.

Make Package._validate_deps() check USE conditionals in SRC_URI.

Bug #334365 - Mask packages with invalid metadata as early as possible,
so that the depgraph won't select them unless they are already installed
and there is no other choice. This should trigger automatic reinstallation
of installed packages that have invalid metadata.

Add ebuild(1) support for FEATURES=digest.

Use a PORTAGE_SIGPIPE_STATUS variable to export 128 + SIGPIPE to the
ebuild environment. SIGPIPE is typically 13, but its better not to
assume that.

Make save_ebuild_env() filter assert_sigpipe_ok().

Bug #334365 - When parsing dependencies of installed packages in
depgraph._add_pkg_deps(), ignore invalid USE conditionals, since
these are a common problem and it's practical to ignore them for
installed packages.

TODO: For installed package, save any InvalidDependString info in
dynamic_config and wait until display_problems() to show it. For
packages that aren't installed, we should validate and mask them
before they are selected.

show_invalid_depstring_notice: Don't repeat the dep string

Fix repoman to support FEATURES=digest (reportedly it used to work
but has stopped working since recent changes).

Mention repoman support in the FEATURES=digest docs.

Remove portage.usedefaults since it's broken by the previous commit.

config: Move handling of USE related config files into UseManager