repoman: inherit.missing non-fatal (experimental)

InheritEclass: kde4-base exemptions

InheritEclass: add stable / conservative mode

ecompressdir: fix brokenlink newdest logic

Was broken in commit bbacf8674168cf033de0ccb161f568d0b26f032b.

repoman.1: document inherit.missing/unused

config: whitelist PORTAGE_COMPRESS, don't save it

ecompressdir: avoid ecompress.break interference

ecompressdir: fix ln -s for bug #418309

This fixes parallel funk_up_dir decompress calls so that they don't
inappropriately compete with eachother to fix the same broken symlinks.

ecompressdir: fix funk_up_dir return value

config: lazy VirtualsManager instantiation

config: lazy MaskManager instantiation

config: lazy KeywordsManager instantiation

This allows a config instance to be instantiated by portageq, while
accessing /etc/portage/package.keywords only on demand, solving
bug #418475 by avoiding PermissionDenied exceptions when possible.

portageexit: skip SANDBOX_ON check

This check is redundant, since the portdbapi constructor already has
special SANDBOX_ON / SANDBOX_WRITE handling.

grablines: raise PermissionDenied if appropriate

portageexit: skip secpass check

The portdbapi should handle secpass already internally, and access to
secpass here can trigger unnecessary instantiation of a config instance
via the portage.data module.

InheritEclass: base and cmake-utils exemptions

make.conf(5): document PORTAGE_{GRPNAME,USERNAME,INST_UID,INST_GID}

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

InheritEclass: support inherit after && or ||

InheritEclass: exempt vim for eutils

InheritEclass: fix autotools for polylib-9999

InheritEclass: support subclass inherited_api

InheritEclass: move eclass info to a dict

This handles the info more like it will be handled when we parse it
directly from eclasses.

Use any() to optimize intersection operations.

_wildcard_set: specify allow_repo=False

This make is behave as it did prior to the change in Atom constructor
behavior in commit 587cce4816afc7d57b3edf0be6c0670ec0be89c9.

portage.dep.Atom: Ignore allow_repo argument when non-None eapi is passed.
Allow repository when allow_repo=False is not passed and eapi=None is passed.

repoman: add a mini framework for checking eclasses, and fill it out

Rather than copying & pasting the same behavior for the different eclass
checks, add a common class for them to extend.  This makes adding more
eclass checks trivial, and keeps down bitrot.

This does abuse the checking interface slightly -- the eclass will change
its category between unused and missing based on the checks.

URL: https://bugs.gentoo.org/417159
URL: https://bugs.gentoo.org/417231
Signed-off-by: Mike Frysinger <vapier@gentoo.org>

repoman: unroll escaped lines so we can check the entirety of it

Sometimes people wrap long lines in their ebuilds to make it easier to
read, but this causes us issues when doing line-by-line checking.  So
automatically unroll those lines before passing the full content down
to our checkers.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

reconstruct_eclasses: unicode hashes for python2

repoman: tweak elif vcs check style to be consistent

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

validate_entry: handle KeyError for bug #417253

This error is triggered by corrupt cache entries.

Profile parent repo: references for bug #414961.

If "profile-formats = portage-2" is specified in metadata/layout.conf,
then paths such as 'gentoo:targets/desktop' or ':targets/desktop' in
profile parent files can be used to express paths relative to the root
'profiles' directory of a repository. When the repo name is omitted
before the colon, it refers to the current repository that the parent
file is inside of.

movefile: fix abs symlink adjustment, bug #416431

merge: fix abs symlink adjustment, bug #416431

getconfig: only raise ParseError

RepoConfig: cleanup portage1_profiles code

FEATURES=config-protect-if-modified by default.

The plan is to send out a GLEP 42 news item for this before it goes to
stable, as discussed here:

http://archives.gentoo.org/gentoo-dev/msg_7fe557809defad4faca2ee5c6e52d134.xml

_eapi_invalid: elog permission issue, bug #416231

config: fix /etc/portage/make.profile error msg

getconfig: use shlex.error_leader() more

This fixes it to show the correct file/line, even when one file sources
another.

bintree: validate remove cpv more

prepstrip: fix installsources breakage

The debug.sources path changed in commit
4941c3c674400116f118a9c75b520c3fd1a25490.

prepstrip: fix hardlink race in process_elf

prepstrip: fix hardlink handling for subshells

prepstrip: make splitdebug/installsources parallel safe

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: tweak style and document helper funcs a bit

Mostly make sure we be consistent with ${var} rather than $var.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: run the log parsing in parallel to file stripping

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

multijob_post_fork: simpler handling of return value

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

depgraph: send output to stderr when appropriate

This also removes the stderr -> stdout redirect from display_problems,
since the app-portage/autounmask program is no longer supported, and
that will fix bug #406867.

prepstrip: wait for Pre-stripped check to finish

prepstrip: disable parallel for splitdebug, etc..

multijob_post_fork: return child status

Atom: use a single _get_atom_re() call

BlockerCache: use _unicode() for pickled atoms

Split out _hide_url_passwd() and use it more.

binhost: http auth for python3 (bug #413983)

This uses the code from commit 58a8cd1bb943522bc53d02c008ee8eff798bfaaa
as a fallback for python3 when the default urlopen function fails. This
has been tested and is known to work with thttpd password
authentication (it works unencrypted and also when encrypted with
stunnel).

getbinpkg: fix base64 usage for python3

tbz2.scan: use finally to close file

Revert "Bug #413983: Add portage.util.urlopen(), which transparently handles authentication in the way compatible with Python 3."

This reverts commit 0a9cc38a66ded0cf0e5b534cb24b970fc9c21920. As
reported in bug #415579, that commit broke FTP authentication.

glsa: use _pkg_str + vercmp, not pkgcmp

_sets/security: use _pkg_str + vercmp, not pkgcmp

_sets/dbapi: use _pkg_str + vercmp, not pkgcmp

portdbapi: don't convert _pkg_str to str

dblink: use _pkg_str + vercmp, not pkgcmp

dep_check: use _pkg_str + vercmp, not pkgcmp

_pkg_str: validate repo (move code from Package)

unmerge: use cpv_sort_key instead of pkgcmp

_pkg_str: make version -r0 consistent with input

cpv_sort_key: use _pkg_str

repoman: simplify ebuild sort code

egencache: use vercmp instead of pkgcmp

best_match_to_list: use _pkg_str

match_from_list: avoid multiple meanings of mycpv

cpvequal: use _pkg_str

_pms_eapi_re: require whitespace before comment

See discussion on gentoo-pms mailing list here:
http://archives.gentoo.org/gentoo-pms/msg_1f76a55d04b4f2a3721cddc611434aad.xml

match_from_list: preserve input in result

This fixes an unintended change in behavior from commit
f31320b67c9f593a2a8592e1a4e547f5f641943a.

Use _pkg_str.version more.

Don't cache vercmp results.

It's probably not very helpful to cache vercmp results, since identical
version comparisons probably don't recur very often.

_pkg_str: add version attribute for comparisons

This attribute can be passed directly into vercmp, avoiding the need to
generate this string many times.

depgraph: minimize match_from_list operations

In _iter_match_pkgs, call match_from_list on one cpv at a time, in
order to avoid unnecessary match_from_list comparisons on versions that
are never yielded from this method.

SimpleResolverTestCase: handle PYTHONHASHSEED

_pkg_str: add slot and repo attributes

match_from_list: handle Package.UNKNOWN_REPO

_pkg_str: add cpv attribute for match_from_list

Check type of xml.etree.ElementTree.TreeBuilder before applying
workaround for http://bugs.python.org/issue14007.

test_digraph: fix get_cycles for PYTHONHASHSEED

test_digraph: fix bfs for PYTHONHASHSEED=random

test_stackLists: fix for PYTHONHASHSEED="random"

Add workaround for bugs.python.org/issue14007.

Add a _pkg_str class to cache catpkgsplit results

This will compensate for the removal of the catpkgsplit cache in commit
68888b0450b1967cb70673a5f06b04c167ef879c.

catpkgsplit: don't cache results

The cache has been subtly broken since commit
eb2056631021a04b62c228206e44376f5c7a81ba when the eapi parameter was
added. If necessary, we can add a cpv class (or something like that) in
order to avoid redundant catpkgsplit calls in places like
match_from_list.

prepstrip/ecompressdir: parallelize operations

Stealing some ideas from ferringb, add a new API for doing parallel
processing in bash, and then deploy this with the stripping and
compressing stages.

For stripping coreutils which has about 100 ELFs, this brings time
to strip down from ~7 seconds to ~0.7 seconds on my system.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Add portage.eapi.eapi_allows_dots_in_use_flags().

Allow dots in package names in EAPI="4-python".

Fix handling of empty PORTDIR{,_OVERLAY} setting.

Cleanup profile-formats code.

RepoConfig: sort __slots__

Avoid redundant layout.conf parsing.

By passing the RepoConfigLoader instance into LocationsManager, we can
re-use previously parsed layout.conf data. The RepoConfigLoader
instance will also be useful for bug #414961.

config: load repositories before profile

This is useful for bug #414961, since we want to have access to the
repositories when we're loading the profile.

config: propagate SYNC to self.repositories

This resolves a circular dependency on the SYNC variable, which is
useful for bug #414961, since we want to be able to initialize
self.repositories before the SYNC variable is known.

config: use shlex to split known_repos