repoman: update cat/pkg info in header all the time

There are edge cases where repoman's changelog code is not as good as
the existing echangelog.  Mostly related to out of date headers.  Have
the code check the header in more cases not just for missing lines, but
also outdated values all the time.

While we're at it, write some tests!

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

test_match_from_list: fix _pkg_str usage

dbapi: construct _pkg_str during match on-demand

repoman: tweak code for bug #420735

config: pass tolerant param to getconfig more

repoman: Manifest after ChangeLog, bug #420735

Move post_src_install metadata code to one func.

QueryCommand: add get_db() classmethod

Package: move SLOT validation to _pkg_str

Add a _get_slot_re() function.

Package: use _eapi_attrs

_get_pv_re: use _eapi_attrs

dep: remove old "DEPEND SYNTAX" comments

use_reduce: use _eapi_attrs

_get_eapi_attrs: move to eapi module

dep: move regex constants to top of file

_get_atom_wildcard_re: use _eapi_attrs

_get_atom_re: share cache between more EAPIs

_get_useflag_re: use _eapi_attrs

_get_usedep_re: use _eapi_attrs

Atom: use _eapi_attrs in constructor

_get_atom_re: handle many combinations

A namedtuple of _eapi_attrs is used to hash atom regular expressions,
making it easy to handle many different combinations, as will be
necessary for the addition of new features such as abi-slot deps.

cache/sqlite.py: dynamically add columns to table

InheritEclass: avoid false positive in func regex

depgraph: pass use_reduce result to dep_check

This allows us to avoid extraneous use_reduce/paren_enclose calls.

InheritEclass: avoid false positive in func regex

repoman: try to sign Manifest only if it exists

This case occurs with "thin-manifests = true" in metadata/layout.conf
when there are no distfiles (like for live ebuilds), as reported in
bug #419717.

parse_layout_conf: fix cache-formats pms fallback

This fixes an issue where egencache would not generate metadata/cache
unless the directory already existed.

helper-functions.sh: multijob support bash <4.1

The redirect_alloc_fd() compatibility function is borrowed from Mike
Frysinger's proposed multiprocessing.eclass:

http://archives.gentoo.org/gentoo-dev/msg_5ecd3b1dd0720522807c136d8fd2cd5f.xml

Handle more import exceptions involving xml.

See http://bugs.python.org/issue14988

repoman: fix _mask_manager assignment

This broke in commit 09980f19e584b644b9e2cf4d5e1e0369b6062ca1.

InheritEclass: exempt auto/libtool for multilib

InheritEclass: exempt autotools for libtool

Package: calc visiblity on demand

This delays visiblity calculations until after FakeVartree applies its
metadata tweaks, so commit 650c960be3170bade8bb63ddedcd4796c75ec374
will work as intended.

FakeVartree: use KEYWORDS from unbuilt ebuild

This allows us to avoid triggering the code from bug #350285 (see
commit b7de3d1fb10e40b4ef03462f8a145968689ac587) in cases when the
KEYWORDS from the unbuilt ebuild would unmask the package.

Delete workaround for bugs.python.org/issue14007.

ebuild.sh: export EAPI for helpers

This fixes some cases where it wouldn't be exported since commit
20817801dd4ef0117bcc7b33c90650da1e920385.

InheritEclass: remove unused inherited_api code

InheritEclass: exempt eclasses that export src_*

We really need to annotate exceptions like these directly in the
eclasses, but hardcode them for now.

repoman: inherit.missing non-fatal (experimental)

InheritEclass: kde4-base exemptions

InheritEclass: add stable / conservative mode

ecompressdir: fix brokenlink newdest logic

Was broken in commit bbacf8674168cf033de0ccb161f568d0b26f032b.

repoman.1: document inherit.missing/unused

config: whitelist PORTAGE_COMPRESS, don't save it

ecompressdir: avoid ecompress.break interference

ecompressdir: fix ln -s for bug #418309

This fixes parallel funk_up_dir decompress calls so that they don't
inappropriately compete with eachother to fix the same broken symlinks.

ecompressdir: fix funk_up_dir return value

config: lazy VirtualsManager instantiation

config: lazy MaskManager instantiation

config: lazy KeywordsManager instantiation

This allows a config instance to be instantiated by portageq, while
accessing /etc/portage/package.keywords only on demand, solving
bug #418475 by avoiding PermissionDenied exceptions when possible.

portageexit: skip SANDBOX_ON check

This check is redundant, since the portdbapi constructor already has
special SANDBOX_ON / SANDBOX_WRITE handling.

grablines: raise PermissionDenied if appropriate

portageexit: skip secpass check

The portdbapi should handle secpass already internally, and access to
secpass here can trigger unnecessary instantiation of a config instance
via the portage.data module.

InheritEclass: base and cmake-utils exemptions

make.conf(5): document PORTAGE_{GRPNAME,USERNAME,INST_UID,INST_GID}

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

InheritEclass: support inherit after && or ||

InheritEclass: exempt vim for eutils

InheritEclass: fix autotools for polylib-9999

InheritEclass: support subclass inherited_api

InheritEclass: move eclass info to a dict

This handles the info more like it will be handled when we parse it
directly from eclasses.

Use any() to optimize intersection operations.

_wildcard_set: specify allow_repo=False

This make is behave as it did prior to the change in Atom constructor
behavior in commit 587cce4816afc7d57b3edf0be6c0670ec0be89c9.

portage.dep.Atom: Ignore allow_repo argument when non-None eapi is passed.
Allow repository when allow_repo=False is not passed and eapi=None is passed.

repoman: add a mini framework for checking eclasses, and fill it out

Rather than copying & pasting the same behavior for the different eclass
checks, add a common class for them to extend.  This makes adding more
eclass checks trivial, and keeps down bitrot.

This does abuse the checking interface slightly -- the eclass will change
its category between unused and missing based on the checks.

URL: https://bugs.gentoo.org/417159
URL: https://bugs.gentoo.org/417231
Signed-off-by: Mike Frysinger <vapier@gentoo.org>

repoman: unroll escaped lines so we can check the entirety of it

Sometimes people wrap long lines in their ebuilds to make it easier to
read, but this causes us issues when doing line-by-line checking.  So
automatically unroll those lines before passing the full content down
to our checkers.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

reconstruct_eclasses: unicode hashes for python2

repoman: tweak elif vcs check style to be consistent

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

validate_entry: handle KeyError for bug #417253

This error is triggered by corrupt cache entries.

Profile parent repo: references for bug #414961.

If "profile-formats = portage-2" is specified in metadata/layout.conf,
then paths such as 'gentoo:targets/desktop' or ':targets/desktop' in
profile parent files can be used to express paths relative to the root
'profiles' directory of a repository. When the repo name is omitted
before the colon, it refers to the current repository that the parent
file is inside of.

movefile: fix abs symlink adjustment, bug #416431

merge: fix abs symlink adjustment, bug #416431

getconfig: only raise ParseError

RepoConfig: cleanup portage1_profiles code

FEATURES=config-protect-if-modified by default.

The plan is to send out a GLEP 42 news item for this before it goes to
stable, as discussed here:

http://archives.gentoo.org/gentoo-dev/msg_7fe557809defad4faca2ee5c6e52d134.xml

_eapi_invalid: elog permission issue, bug #416231

config: fix /etc/portage/make.profile error msg

getconfig: use shlex.error_leader() more

This fixes it to show the correct file/line, even when one file sources
another.

bintree: validate remove cpv more

prepstrip: fix installsources breakage

The debug.sources path changed in commit
4941c3c674400116f118a9c75b520c3fd1a25490.

prepstrip: fix hardlink race in process_elf

prepstrip: fix hardlink handling for subshells

prepstrip: make splitdebug/installsources parallel safe

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: tweak style and document helper funcs a bit

Mostly make sure we be consistent with ${var} rather than $var.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: run the log parsing in parallel to file stripping

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

multijob_post_fork: simpler handling of return value

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

depgraph: send output to stderr when appropriate

This also removes the stderr -> stdout redirect from display_problems,
since the app-portage/autounmask program is no longer supported, and
that will fix bug #406867.

prepstrip: wait for Pre-stripped check to finish

prepstrip: disable parallel for splitdebug, etc..

multijob_post_fork: return child status

Atom: use a single _get_atom_re() call

BlockerCache: use _unicode() for pickled atoms

Split out _hide_url_passwd() and use it more.

binhost: http auth for python3 (bug #413983)

This uses the code from commit 58a8cd1bb943522bc53d02c008ee8eff798bfaaa
as a fallback for python3 when the default urlopen function fails. This
has been tested and is known to work with thttpd password
authentication (it works unencrypted and also when encrypted with
stunnel).

getbinpkg: fix base64 usage for python3

tbz2.scan: use finally to close file

Revert "Bug #413983: Add portage.util.urlopen(), which transparently handles authentication in the way compatible with Python 3."

This reverts commit 0a9cc38a66ded0cf0e5b534cb24b970fc9c21920. As
reported in bug #415579, that commit broke FTP authentication.

glsa: use _pkg_str + vercmp, not pkgcmp

_sets/security: use _pkg_str + vercmp, not pkgcmp

_sets/dbapi: use _pkg_str + vercmp, not pkgcmp