Bug #330937: Handle IOError raised by array.fromfile().

* Make _world_repo_match() try to match both atoms, so it still works
  if the world file and vdb are slighly out of sync wrt package moves.
* Write world file updates at the earliest opportunity.

Make update_config_files() take a dict of {repo_name: list} since it's more
efficient this way, and this function can't be called separately for each
repo if /etc/portage is under CONFIG_PROTECT (because it would produce
separate updated files for each repo).

Fix NameError for ConfigProtect.

Just return boolean to indicate whether or not updates have been performed,
since that's all that the calling code currently needs.

Move the mtimedb timestamps code out of an unnecessary loop.

Always use shlex_split() to split CONFIG_PROTECT{,_MASK}.

Add a warning message to the --package-moves[=n] docs, noting that
should remain enabled under normal circumstances.

Add a --package-moves[=n] option that can be used to control the
"Performing Global Updates" routine. This option is enabled by
default.

Document --depclean-lib-check[=n].

Fix calc_depclean() to skip the topological sort code when there's
nothing selected for removal.

Tweak global updates handling so that updates from $PORTDIR are applied
for all of the following cases:
* package is missing repository metadata
* package has repository metadata, but the source repository does not
  have a profiles/updates/ directory
* package has repository metadata, but the source repository is not
  currently accessible via PORTDIR_OVERLAY

Fix UnboundLocalError for do_upgrade_packagesmessage.

Fix UnboundLocalError for timestamps variable.

Make dbapi.update_ents() take a dict of {repo_name: list}, since it's
most efficient to process all repos at once.

Fallback to updates from PORTDIR if repository has no 'updates' dir.

As a backwards-compatibility measure, if a particular repository doesn't
come with an 'updates' directory, fallback to updates from
dbapi.porttree_root.

Add repository-wide updates support to emaint.

Support repository-wide updates in FakeVartree.

Limit repository-wide dbentry updates.

Update dbentries only when the repository the package comes from matches
the repository update comes from.

Support repository-wide updates.

Support reading repository-wide update files. Apply them as long as the
'repository' for vardb entry matches the repository update is
originating from. For world and configuration files, use the best vardb
match.

Make the world-candidate package set attribute default to False, since
[usersets] is the only one for which it is True in the default config.

extended atom syntax: Add comment to make.conf man page

Tests: add sets/base/testInternalPackageSet

portage.sets: Don't allow extended atoms unless explicitly told to

Use a directory for the default set configuration.

Expect /usr/share/portage/config/sets to be a directory containing any
number of set configuration files. The default Portage sets.conf should
be now installed as sets/portage.conf, and other ebuilds are free to
install their own set configuration files there.

Fix PackageSet._updateAtomMap() to use ExtendedAtomDict.setdefault()
since ExtendedAtomDict__getitem__ doesn't allow modification of
items.

Fix race condition in Portage symlink creation.

Fix ExtendedAtomDict so get() and __getitem__() behave consistently,
since otherwise it can be quite confusing.

Make ExtendedAtomDict inherit from MutableMapping, and fix __getitem__
to raise KeyError if given a non-string argument.

Allow the --depclean library consumer check to be disabled by
--depclean-lib-check=n.

If more than 20 file collisions occur, only look up the first 20 since
get_owners is slow for large numbers of files.

When the iter_owners dblink cache becomes full, do not finish processing
the current path, and go directly to the low-memory implemention.

Make extended_cp_match() use re.escape() for safety, and since the result is
cached here anyway.

Bug #329159 - If there are merge collisions are detected, only search for
owners if either collision-protect or protect-owned is enabled.

Make iter_owners() switch to a slower but lower-memory mode if the number
of given files > 10 or dynamically if the dblink_cache grows to 20
instances.

Bug #329803 - Make unmerge() show a machine-readable list of selected packages.

Make extended_cp_match() cache regular expressions for re-use.

Add a gc.collect() call inside iter_owers(), since people are reporting
high memory usage there. We should really only use this function to search
for a small number of files. Larger numbers of files should use a different
algorithm that will ensure that each CONTENTS file is only parsed once.

Re-implement extended_cp_match() using regex, and only support cp (instead
of full atoms) since that all we need.

Fix description of FEATURES=fixlafiles.

FEATURES: Rename lafilefixing -> fixlafiles

extended atom syntax: Allow wildcards in all places

Handle UnicodeDecodeError from subprocess.getstatusoutput() calls, reported
with python3.1.

portage.dep._use_dep: better validation, enable all tests

portage.dep.isvalidatom(): Add support for atoms with wildcards

Test: Add dep/test_best_match_to_list

Tests: dep/test_match_from_list: Complete rewrite

Tests: Extend dep/testAtom.py and add test cases for wildcards Two failing tests disabled for now.

portage.tests.TestCase: Add assertRaisesMsg() from pkgcore

--exclude: Add support for atoms with wildcards

portage.sets: Add support for atoms with wildcards

Make atoms with wildcards work in package.properties

Make atoms with wildcards work in package.license

Make atoms with wildcards work in package.mask and package.unmask

Make atoms with wildcards in package.use work

portage.dep.{match_from_list,best_match_to_list}: Add support for wildcards in atoms

portage.ebuild.config: Allow wildcards in atoms in user configuration

portage.util.grab*(): Add optional parameter to allow wildscards in atoms

portage.dep.Atom: Add optional parameter to allow wildcards (*/*, cat/*, */pkg)

Move the mod_echo import to the top, so the module is pre-loaded.

Remove 'mysettings' arguments from finalize() functions since the
shouldn't be needed for backward compatibility anymore.

Bug #328935 - Document ${ACTION} substitution in PORTAGE_ELOG_MAILSUBJECT.

Bug #328317 - If libc is artifically promoted in the merge list
(for bug #303567), promote os-headers before it.

install_qa_check: catch more gcc warnings

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

In portdbapi.getfetchsizes(), only split PORTAGE_RO_DISTDIRS when necessary.

Skip unecessary stat calls on PORTAGE_RO_DISTDIRS in
portdbapi.getfetchsizes().

Bug #305035 - Fix portdbapi.getfetchsizes() to account for
PORTAGE_RO_DISTDIRS.

lafilefixing: Use .replace() instead of the broken regex to update the contents

Fix broken reference to self._settings (from previous commit).

Bug #327883 - Make EbuildBuild call the pre-clean phase prior to
EbuildFetcher, in order to avoid re-use/removal of a build log
from a previously failed build. This involves moving the pre-clean
phase from EbuildExecuter to EbuildBuild, and moving build dir
handling from EbuildFetcher to EbuildBuild.

Make EbuildBuildDir.clean_log() do nothing when FEATURES=keepwork is
enabled.

Make prepare_build_dirs() respect FEATURES=keeptemp.

Remove 'filedir.missing' check info.

It is not used anywhere, and don't seem to be a useful check at all.

Use b'foo' instead of _unicode_encode() where appropriate.

Fix unicode handling in arguments and commit message handling (tested
with python2 and python3).

Combine the two 'file.executable' checks into a single one.

Instead of performing a single 'file.executable' check on auxiliary
files and then another one on ebuild files, use a single check for them.
This unifies the path output too.

Add forgotten trailing comma.

This caused Portage to wrongly claim some FEATURES not to be valid.

Add FindVCS() to __all__.

Drop deprecated self.eapi saving.

Retab.

Support BrE spelling 'licence' in UselessDodoc check.

Add EAPI 3-defined variables to the readonly check.

Make copyright/CVS header checks more strict.

* Add support for PORTAGE_USERNAME and PORTAGE_GRPNAME
environment variables, for use within the chromium-os
build environment.

* Add PORTAGE_USERNAME and PORTAGE_GRPNAME to the environment
whitelist and filter them from the saved environment.

Note: In order to support PORTAGE_USERNAME and PORTAGE_GRPNAME
settings in make.conf, the associated portage.data attributes
may be relocated to the config class in the future.

Use epytext markup in rewrite_lafile() docstring, and add note about
use of raw bytes.

Use _encodings['merge'] for *.la filenames.

Bug #328099 - Adjust ccache documentation

warn that ccache can trigger compilation failure

repoman: don't complain about stray Manifests.

As repoman regenerates and readds Manifests anyway, there's no reason to
complain when one hasn't been added yet.

Fix output handling for FEATURES="lafilefixing".

Fix writemsg to only use fd.buffer when it is stderr or stdout.

Make lafilefixer handle files in binary mode, in order to avoid potential
character encoding issues.

Let emerge fix .la files

Triggered by FEATURES="lafilefixing" (enabled by default)
Includes a QA warning for invalid .la files.

Fix 'repoman --ask' to not require an argument.

Overnight patches have the tendency to be bugged. Now 'repoman --ask'
should work like a normal flag.

Support '--ask' option to 'repoman commit'.

Add FEATURES=unknown-features-warn, so the the warning about unknown FEATURES
values can be disabled.

Move the check for unsupported FEATURES to config.validate().

Use writemsg_stdout instead of print, for unicode safety.

Fix possible bugs recently introduced in --info version sorting logic.

Fix emerge --info breakage for python-3.x (cmp usage).