RepoConfig: cleanup portage1_profiles code

FEATURES=config-protect-if-modified by default.

The plan is to send out a GLEP 42 news item for this before it goes to
stable, as discussed here:

http://archives.gentoo.org/gentoo-dev/msg_7fe557809defad4faca2ee5c6e52d134.xml

_eapi_invalid: elog permission issue, bug #416231

config: fix /etc/portage/make.profile error msg

getconfig: use shlex.error_leader() more

This fixes it to show the correct file/line, even when one file sources
another.

bintree: validate remove cpv more

prepstrip: fix installsources breakage

The debug.sources path changed in commit
4941c3c674400116f118a9c75b520c3fd1a25490.

prepstrip: fix hardlink race in process_elf

prepstrip: fix hardlink handling for subshells

prepstrip: make splitdebug/installsources parallel safe

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: tweak style and document helper funcs a bit

Mostly make sure we be consistent with ${var} rather than $var.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: run the log parsing in parallel to file stripping

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

multijob_post_fork: simpler handling of return value

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

depgraph: send output to stderr when appropriate

This also removes the stderr -> stdout redirect from display_problems,
since the app-portage/autounmask program is no longer supported, and
that will fix bug #406867.

prepstrip: wait for Pre-stripped check to finish

prepstrip: disable parallel for splitdebug, etc..

multijob_post_fork: return child status

Atom: use a single _get_atom_re() call

BlockerCache: use _unicode() for pickled atoms

Split out _hide_url_passwd() and use it more.

binhost: http auth for python3 (bug #413983)

This uses the code from commit 58a8cd1bb943522bc53d02c008ee8eff798bfaaa
as a fallback for python3 when the default urlopen function fails. This
has been tested and is known to work with thttpd password
authentication (it works unencrypted and also when encrypted with
stunnel).

getbinpkg: fix base64 usage for python3

tbz2.scan: use finally to close file

Revert "Bug #413983: Add portage.util.urlopen(), which transparently handles authentication in the way compatible with Python 3."

This reverts commit 0a9cc38a66ded0cf0e5b534cb24b970fc9c21920. As
reported in bug #415579, that commit broke FTP authentication.

glsa: use _pkg_str + vercmp, not pkgcmp

_sets/security: use _pkg_str + vercmp, not pkgcmp

_sets/dbapi: use _pkg_str + vercmp, not pkgcmp

portdbapi: don't convert _pkg_str to str

dblink: use _pkg_str + vercmp, not pkgcmp

dep_check: use _pkg_str + vercmp, not pkgcmp

_pkg_str: validate repo (move code from Package)

unmerge: use cpv_sort_key instead of pkgcmp

_pkg_str: make version -r0 consistent with input

cpv_sort_key: use _pkg_str

repoman: simplify ebuild sort code

egencache: use vercmp instead of pkgcmp

best_match_to_list: use _pkg_str

match_from_list: avoid multiple meanings of mycpv

cpvequal: use _pkg_str

_pms_eapi_re: require whitespace before comment

See discussion on gentoo-pms mailing list here:
http://archives.gentoo.org/gentoo-pms/msg_1f76a55d04b4f2a3721cddc611434aad.xml

match_from_list: preserve input in result

This fixes an unintended change in behavior from commit
f31320b67c9f593a2a8592e1a4e547f5f641943a.

Use _pkg_str.version more.

Don't cache vercmp results.

It's probably not very helpful to cache vercmp results, since identical
version comparisons probably don't recur very often.

_pkg_str: add version attribute for comparisons

This attribute can be passed directly into vercmp, avoiding the need to
generate this string many times.

depgraph: minimize match_from_list operations

In _iter_match_pkgs, call match_from_list on one cpv at a time, in
order to avoid unnecessary match_from_list comparisons on versions that
are never yielded from this method.

SimpleResolverTestCase: handle PYTHONHASHSEED

_pkg_str: add slot and repo attributes

match_from_list: handle Package.UNKNOWN_REPO

_pkg_str: add cpv attribute for match_from_list

Check type of xml.etree.ElementTree.TreeBuilder before applying
workaround for http://bugs.python.org/issue14007.

test_digraph: fix get_cycles for PYTHONHASHSEED

test_digraph: fix bfs for PYTHONHASHSEED=random

test_stackLists: fix for PYTHONHASHSEED="random"

Add workaround for bugs.python.org/issue14007.

Add a _pkg_str class to cache catpkgsplit results

This will compensate for the removal of the catpkgsplit cache in commit
68888b0450b1967cb70673a5f06b04c167ef879c.

catpkgsplit: don't cache results

The cache has been subtly broken since commit
eb2056631021a04b62c228206e44376f5c7a81ba when the eapi parameter was
added. If necessary, we can add a cpv class (or something like that) in
order to avoid redundant catpkgsplit calls in places like
match_from_list.

prepstrip/ecompressdir: parallelize operations

Stealing some ideas from ferringb, add a new API for doing parallel
processing in bash, and then deploy this with the stripping and
compressing stages.

For stripping coreutils which has about 100 ELFs, this brings time
to strip down from ~7 seconds to ~0.7 seconds on my system.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Add portage.eapi.eapi_allows_dots_in_use_flags().

Allow dots in package names in EAPI="4-python".

Fix handling of empty PORTDIR{,_OVERLAY} setting.

Cleanup profile-formats code.

RepoConfig: sort __slots__

Avoid redundant layout.conf parsing.

By passing the RepoConfigLoader instance into LocationsManager, we can
re-use previously parsed layout.conf data. The RepoConfigLoader
instance will also be useful for bug #414961.

config: load repositories before profile

This is useful for bug #414961, since we want to have access to the
repositories when we're loading the profile.

config: propagate SYNC to self.repositories

This resolves a circular dependency on the SYNC variable, which is
useful for bug #414961, since we want to be able to initialize
self.repositories before the SYNC variable is known.

config: use shlex to split known_repos

PollScheduler: use local EventLoop (thread safe)

For API consumers, this makes the doebuild() function compatible with
threads, avoiding a ValueError raised by the signal module, as reported
at http://bugs.sabayon.org/show_bug.cgi?id=3305. Classes derived from
PollScheduler still use the signal module when possible.

Don't write or trust cache for unsupported EAPIs.

Since we're supposed to be able to efficiently obtain the EAPI from
_parse_eapi_ebuild_head, we don't need to write or trust cache entries
for unsupported EAPIs.

Make REPOSITORY variable again available in global scope of ebuilds,
which use EAPI="4-python".
This fixes regression introduced in commit 1c26d24dfc869a6f5ef426f7c02e1d25abcda34e.

porttree.py: remove unused imports

Refer to bug #402167 where appropriate.

doebuild_environment: clean up EAPI related code

EbuildMetadataPhase: handle empty EAPI from bash

Split out eapi_invalid function.

ebuild.sh: remove redundant EAPI=0 default

Show unsatisfied REQUIRED_USE for bug #415125.

doebuild_environment: remove unused eapi parsing

Parse EAPI with pattern from PMS section 7.3.1.

This implements the specification that was approved in Gentoo's council
meeting on May 8, 2012 (see bug #402167). The parse-eapi-ebuild-head
FEATURES setting is now enabled by default, and causes non-conformant
ebuilds to be treated as invalid. This behavior will soon become
enabled unconditionally.

die: fix ${T}/build.log{,.gz} message

make.conf.5: COLLISION_IGNORE s/shell/fnmatch/

Strip EPREFIX in RESTRICT=binchecks QA Notice.

NEEDED.ELF.2: include sonames from $ORIGIN

This reverts the behavior change from bug #205531 (see commit
5baa57a65368472c2c22b9bd2b30e634ef644b92). That special handling should
be unnecessary since the changes from bug #289180 (see commit
296fc63fee262600811520fccf4692f47a39ffba), where the
LinkageMapELF.findConsumers() exclude_providers argument is used to
exclude irrelevant consumers.

COLLISION_IGNORE: support fnmatch patterns

This allows it to be combined with the COLLISION_IGNORE_UNOWNED
variable from commit 33545ea18e8816addb3c54bb26a0cc788b8512e6, so only
one variable is needed.

COLLISION_IGNORE: handle prefix

COLLISION_IGNORE_UNOWNED: tweak default *.py[co]

Enable globstar shell option by default in EAPI="4-python".

QA Notice for RESTRICT=binchecks + ELF files

Create NEEDED.ELF.2 despite RESTRICT=binchecks.

This info is too useful not to have (it's required for things like
preserve-libs), and it's tempting for ebuild authors to set
RESTRICT=binchecks for packages containing pre-built binaries.

Support COLLISION_IGNORE_UNOWNED="*.pyc *.pyo"

This will fix bug #410691.

composite_db._visible: fix AttributeError

dispatch-conf: use shlex to parse diff command

validate_desktop_entry: handle Python 3.1

Bug #413983: Add portage.util.urlopen(), which transparently
handles authentication in the way compatible with Python 3.

Quote atoms in die message for bug #414201.

This allows zsh users to copy/paste while avoiding = expansion.

repoman: ignore false Service desktop entry error

This will fix bug #414125.

repoman: check LIVEVCS.stable for gentoo only

This will fix bug #414123.

ebuild.sh: source /etc/portage/env scripts after /etc/portage/bashrc

This will fix bug #413895.

LocationsManager: empty profiles_complex on error

This prevents an IndexError in code which assumes that profiles and
profiles_complex are the same length.

repoman: fix portage.internal false positives

EapiDefinition: handle impossible "%d" % None