catpkgsplit: don't cache results

The cache has been subtly broken since commit
eb2056631021a04b62c228206e44376f5c7a81ba when the eapi parameter was
added. If necessary, we can add a cpv class (or something like that) in
order to avoid redundant catpkgsplit calls in places like
match_from_list.

prepstrip/ecompressdir: parallelize operations

Stealing some ideas from ferringb, add a new API for doing parallel
processing in bash, and then deploy this with the stripping and
compressing stages.

For stripping coreutils which has about 100 ELFs, this brings time
to strip down from ~7 seconds to ~0.7 seconds on my system.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Add portage.eapi.eapi_allows_dots_in_use_flags().

Allow dots in package names in EAPI="4-python".

Fix handling of empty PORTDIR{,_OVERLAY} setting.

Cleanup profile-formats code.

RepoConfig: sort __slots__

Avoid redundant layout.conf parsing.

By passing the RepoConfigLoader instance into LocationsManager, we can
re-use previously parsed layout.conf data. The RepoConfigLoader
instance will also be useful for bug #414961.

config: load repositories before profile

This is useful for bug #414961, since we want to have access to the
repositories when we're loading the profile.

config: propagate SYNC to self.repositories

This resolves a circular dependency on the SYNC variable, which is
useful for bug #414961, since we want to be able to initialize
self.repositories before the SYNC variable is known.

config: use shlex to split known_repos

PollScheduler: use local EventLoop (thread safe)

For API consumers, this makes the doebuild() function compatible with
threads, avoiding a ValueError raised by the signal module, as reported
at http://bugs.sabayon.org/show_bug.cgi?id=3305. Classes derived from
PollScheduler still use the signal module when possible.

Don't write or trust cache for unsupported EAPIs.

Since we're supposed to be able to efficiently obtain the EAPI from
_parse_eapi_ebuild_head, we don't need to write or trust cache entries
for unsupported EAPIs.

Make REPOSITORY variable again available in global scope of ebuilds,
which use EAPI="4-python".
This fixes regression introduced in commit 1c26d24dfc869a6f5ef426f7c02e1d25abcda34e.

porttree.py: remove unused imports

Refer to bug #402167 where appropriate.

doebuild_environment: clean up EAPI related code

EbuildMetadataPhase: handle empty EAPI from bash

Split out eapi_invalid function.

ebuild.sh: remove redundant EAPI=0 default

Show unsatisfied REQUIRED_USE for bug #415125.

doebuild_environment: remove unused eapi parsing

Parse EAPI with pattern from PMS section 7.3.1.

This implements the specification that was approved in Gentoo's council
meeting on May 8, 2012 (see bug #402167). The parse-eapi-ebuild-head
FEATURES setting is now enabled by default, and causes non-conformant
ebuilds to be treated as invalid. This behavior will soon become
enabled unconditionally.

die: fix ${T}/build.log{,.gz} message

make.conf.5: COLLISION_IGNORE s/shell/fnmatch/

Strip EPREFIX in RESTRICT=binchecks QA Notice.

NEEDED.ELF.2: include sonames from $ORIGIN

This reverts the behavior change from bug #205531 (see commit
5baa57a65368472c2c22b9bd2b30e634ef644b92). That special handling should
be unnecessary since the changes from bug #289180 (see commit
296fc63fee262600811520fccf4692f47a39ffba), where the
LinkageMapELF.findConsumers() exclude_providers argument is used to
exclude irrelevant consumers.

COLLISION_IGNORE: support fnmatch patterns

This allows it to be combined with the COLLISION_IGNORE_UNOWNED
variable from commit 33545ea18e8816addb3c54bb26a0cc788b8512e6, so only
one variable is needed.

COLLISION_IGNORE: handle prefix

COLLISION_IGNORE_UNOWNED: tweak default *.py[co]

Enable globstar shell option by default in EAPI="4-python".

QA Notice for RESTRICT=binchecks + ELF files

Create NEEDED.ELF.2 despite RESTRICT=binchecks.

This info is too useful not to have (it's required for things like
preserve-libs), and it's tempting for ebuild authors to set
RESTRICT=binchecks for packages containing pre-built binaries.

Support COLLISION_IGNORE_UNOWNED="*.pyc *.pyo"

This will fix bug #410691.

composite_db._visible: fix AttributeError

dispatch-conf: use shlex to parse diff command

validate_desktop_entry: handle Python 3.1

Bug #413983: Add portage.util.urlopen(), which transparently
handles authentication in the way compatible with Python 3.

Quote atoms in die message for bug #414201.

This allows zsh users to copy/paste while avoiding = expansion.

repoman: ignore false Service desktop entry error

This will fix bug #414125.

repoman: check LIVEVCS.stable for gentoo only

This will fix bug #414123.

ebuild.sh: source /etc/portage/env scripts after /etc/portage/bashrc

This will fix bug #413895.

LocationsManager: empty profiles_complex on error

This prevents an IndexError in code which assumes that profiles and
profiles_complex are the same length.

repoman: fix portage.internal false positives

EapiDefinition: handle impossible "%d" % None

doebuild: cleanup tempfile if package phase fails

portageq: use return instead of sys.exit

dep.__init__: move writemsg import to top

repoman: cleanup code for KEYWORDS.invalid

fakedbapi.cp_list: remove obsolete virtual code

This should have been included in commit
d30db49bcaecbdeb20f6d4e180979b60b6260f69.

Print working directory in die message to simplify debugging.

portdbapi: update comment about repoman caches

dbapi.cp_list: remove special case for virtuals

Since commit d603f1440c814377fbc1965729fd9b6b008cf76d, the match caches
use the result from dep_expand for the cache_key, so the caches are
free of old-style virtual mappings. This allows the match caches to be
safely shared with cp_list.

Add ${T}/build.log symlink to PORT_LOGDIR.

This will fix bug #412865. This makes it easier on people who
`emerge foo`, do stuff, `emerge foo`, do stuff, etc... to have
the same path to the log in between runs.

repoman: support * and ~* keywords

These special keywords are used by Funtoo, and have been supported in
KeywordsManager since commit 9144faeb653b9f1dbe74c69f85cd48f26761aa2f.

dbapi: account for unevaluated_atom in caches

This will fix bug 412391. This is analogous to the bug fixed in
commit 5438bb29c996d777b6343515995176912a7c137f.

Show config updates later for bug #412845.

mergeme: cleanup hardlink_candidates, bug #412453

Avoid redundant news display for bug #412161.

repoman: update EAPI.definition check for PMS

The plan is to update PMS section 8.3.1 as discussed here:

http://archives.gentoo.org/gentoo-pms/msg_ef7635aa655913f2386e64e385f5a6ae.xml

Handle SystemError when importing xml libraries.

perform_all: fix TypeError for bug #411897

dohtml: support FEATURES=force-prefix

portageq mass_best_visible: optional "type" arg

EbuildBinpkg: remove temp file on failure

ebuild.5: use example.com for bug #411835

phases.docbook: add phases for new EAPIs

depgraph._complete_graph: fix for --root-deps

config: populate expand map with profile.env

This behavior got disabled by commit
ed8a457e265ea1c23b66aeb12d00f1abd3d79e60, and now it's restored.

Limit long slot conflict loop for bug #410801.

Scheduler: optimize action_uninstall

depgraph._validate_blockers: optimize --root-deps

depgraph._load_vdb: optimize --root-deps

Support /sys/fs/selinux/context for bug #410687.

unmerge: display progress counter, bug #386901

test_getconfig: add case for bug #410625

_check_temp_dir: explicitly close temp file

Don't use varexpand for profile.env, bug #410625.

repoman: only assume cvs preserves mtimes

repoman: disable header/timestamp check for svn

dispatch_conf: don't pass bytes for Popen cmd

This will fix bug #410417.

varexpand: optimize access to current char

getconfig: show error message for varexpand fail

varexpand: use frozenset for word characters

varexpand: use list for efficient append

dispatch_conf: emulate getstatusoutput with Popen

This will fix bug #410315.

portage.5: note more bashrc caveats, bug #409627

fowners: return success for prefix if EUID != 0

This is based on a patch by Jeremy Olexa from bug #409893.

dosym: add $EPREFIX to absolute target

xpak: clean up style

A few spaces here and there go a long way to making this readable.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

varexpand: don't cache results

Caching wasn't really necessary here, and it didn't properly account
for input differences in the 'mydict' parameter.

locks.py: fix _close_fds docstring

LockNonblockTestCase: close_fds tweak

Make consistent with commit 144c23efbb4e9565debad03c13c5bcab833a8336.

emerge: suggest dispatch-conf for bug #398843

Close fewer file descriptors for fork / no exec.

This will fix bug #374335.

etc-update: handle emacs diff cmd, bug #409849

etc-update: remove duplicate using_editor

movefile: use writemsg for unicode safety

Replace @returns with @return.

grabdict: remove incorrect docstring, bug #409839