repoman: remove unused imports

bin/ebuild: don't set PORTAGE_CALLER

This removes the last reference to PORTAGE_CALLER.

fixpackages: don't use PORTAGE_CALLER

portdbapi.aux_get: fix broken _metadata_callback

This fixes a regression in FEATURES=parse-eapi-ebuild-head support
since commit 2ed1cb53cc4158af08c22d466b15b9a9a7767212.

EbuildMetadataPhase: use b''.join() for bytes

repoman: handle categories for multiple masters

Also, copy repoman_settings.categories to each individual
profile's dep_settings.categories attribute, in order to ensure
that portdbapi.cp_list() uses the correct category set.

frozenset categories optimize pordbapi.cp_list()

repoman: validate categories for vcs files

FindVCS: support Subversion 1.7

Since subversion 1.7, only a top-level .svn dir is used.  Make FindVCS
also deal with that.  (Tested with repoman on Prefix SVN-based tree.)

emerge --metadata: fix empty INHERITED handling

Since changes to eclass validation code in commit
2ed1cb53cc4158af08c22d466b15b9a9a7767212, validation of cache for
packages with empty INHERITED metadata has been broken due to failure
to distinguish between None and empty dict return values from
eclass.cache.validate_and_rewrite_cache().

emerge --metadata: fix breakage

The hunk that got removed from action_metadata in commit
d4ea29bf6a3ce35d49e0f54f9173e3a6e42da2d6 is actually needed when
FEATURES=metadata-transfer is enabled.

repoman: simplify digestgen and gpgsign loops

We can re-use the vcs_files_to_cps() function from commit
9c9145a9e3c2d8d1bcebf791ce2188add656fee2.

repoman: optimize --if-modified and --echangelog

Avoid unnecessary nested loops.

repoman --echangelog: fix manifest-only commmits

repoman --if-modified: handle removed files

eclass_cache: fix cache_getter typo

This triggered a regression since commit
2ed1cb53cc4158af08c22d466b15b9a9a7767212 that caused cache entries
containing eclass paths to appear invalid.

layout.conf: add git friendly pregenerated cache format

Enabled via cache-format = md5-dict
This format is essentially just flat_hash, using md5 rather than mtime,
and dropping the path component from _eclasses_ entries.

From a speed standpoint, the md5 overhead is ~16% in comparison to mtime,
timed on a modern sandybridge; specifically, validating 29k nodes takes
~8.8s for flat_md5, while the pms norm is ~7.7s.

That said, the cache is /usable/ in places PMS is not; in those cases,
it can definitely be a win since even if the cache is partially old,
it's better than regenerating everything from scratch.
(cherry picked from commit 95ddf97e2f7e7d3f6a072604b2df5f77e9298558)

Change-Id: Ic3561369b7a8be7f86480f339ab1686fddea6dff

cache: rewrite to support arbitrary validation method

Specifically, the cache can use any portage supported checksum method,
or use the standard mtime approach.  In addition, support controlling
whether or not paths are stored, and generally try to restore some
of the centralization/encapsulation that was in place originally.
(cherry picked from commit bc1aed614fb588f0ade5bcb5d1265a8db0f8d247)

Change-Id: Ic38057e7dbb15063c64a93c99e66e113a7d4c70e

cache.util: drop completely dead module/code

Looks of it, this code was copied/mangled into action_metadata; the
noise/callbacks in use don't do anything, so drop them, the dead code,
and clean up the exception handling to reflect the new reality
(cherry picked from commit 320890fadbedf678119ac06d458ed6086075431e)

repoman: handle unicode in echangelog args

repoman: add --echangelog=<y|n> for bug #337853

This option will call echangelog for each package that has modified
files and does not have a modified ChangeLog. Gentoo's council has
decided that this option will be enabled by default for the "gentoo"
repository. If desired, we can add a metadata/layout.conf setting so
that other repositories can control the default behavior.

repoman: support REPOMAN_DEFAULT_OPTS variable

Revert "Use plain ascii encoding for this file"

This reverts commit 2a4b07c8d0105ea7418ea3afc9e777a7a396fc46.
Current python ebuilds no longer remove the encodings directory when
USE=ebuild is enabled, so now it's possible to use UTF8 encoding in
python source files without triggering unsightly SyntaxError messages
when python_mod_optimize is compiling byte-code files.

Update --prune man page entry (bug 387011)

RELEASE-NOTES: FEATURES=fixpackages unconditional

This should help people who get warnings about unknown value(s) in
FEATURES due to having FEATURES=fixpackages enabled in make.conf even
though it's been enabled by default for almost 3 years (bug #386871).

Fix inverted QA_SONAME_NO_SYMLINK logic.

Don't generate soname symlinks for bug #387053.

The symlink is not really needed now that the QA notice has been
available for some time (testing since 2.1.10.4, and stable
since 2.1.10.11).

Add QA_SONAME_NO_SYMLINK for bug #387053.

quickpkg: optimize */* matches

portageq match: wildcard support

_pull_valid_cache: fix readonly delete logic

layout.conf: make the pregenerated cache format controllable

Controllable via 'cache-format', currently it supports only one cache;
'pms', and defaults to it.  If an unsupported cache-format is specified,
the cache is disabled.  If pms is specified and metadata/cache directory
doesn't exist, the cache is disabled.

Finally, this rips out the best module support for locally overriding
the cache format used for pregenerated caches; this functionality made
zero sense (upstream determines the format, we use what is available).

quickpkg: use AmbiguousPackageName

quickpkg: fix '*' in arg extended atom check

This check isn't really accurate due to the =* operator, and we don't
want to reject =* atoms when they omit the category.

layout.conf: revert authoritative-cache support

Those who wanted it have decided to use a different approach.

digestcheck: handle allow_missing for distfiles

quickpkg_extended_atom: handle =* operator

quickpkg: Support extended atoms

xpak(5): fix grammar, spelling, style, and add more content

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Remove FEATURES=fixpackages support.

This reduces the probability of users encountering issues related to
package moves when they disable --dynamic-deps, and --package-moves=n
can be set in EMERGE_DEFAULT_OPTS if package moves need to be
temporarily avoided for some reason.

Ensure correct IUSE in vdb for bug #386829.

bin/ebuild: add --version option

prepstrip: make sure eu-strip embeds right filename

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

fetch: tweak space msg for bug #386797

elog_process: fix ridicoulus newlines bug #386771

This fixes a regression since commit 8a119ea94ecc6668797e3a1358465ef3733f3a3e
which added a newline after each character. This boosts efficiency since we no
longer convert a strings to lists of characters.

prepstrip: add support for elfutils strip

If people use strip from the elfutils package, take advantage of some of
its neat features (like splitting + stripping in one step).

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: extract buildid with readelf to avoid debugedit when possible

The readelf utility is much more common than debugedit.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: avoid a `dirname` with a simple ${var%/*}

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

FakeVartree: disable match wrapper if necessary

FakeVartree: type from last commit

FakeVartree: fix sync for --dynamic-deps=n

Scheduler: fix myopts typo from last commit

Add emerge --dynamic-deps <y|n> option.

This makes it possible to disable the dynamic dependency updates that
FakeVartree performs by default.

WARNING: If --dynamic-deps is disabled, then it is necessary to
ensure that an alternative method is used to handle package moves
in dependencies of installed packages. Normally, this is handled
by FEATURES="fixpackages", which is enabled by default and may be
disabled via make.conf(5). Alternatively, in order to manually apply
package moves, run `emaint --fix moveinst` after each emerge --sync
operation (see emaint(1)).

mod_syslog: add newlines for bug #386627

This fixes omission of newlines in syslog messages since commit
ca7bef7821876791a26a5f9df6938f4c77fe571f.

elog_process: add newlines for bug #386627

This fixes omission of newlines in saved messages since commit
ca7bef7821876791a26a5f9df6938f4c77fe571f.

prepstrip: tweak style of debugedit checks

Make the checks more like the FEATURES/RESTRICT checks from commit
286675a500998e536dbbf2ee2dfe1fedf4290b38.

prepstrip: merge debugedit checks more

Use a ${debugedit_found} to remember if it's found or not, and use
${debugedit_warned} to avoid showing duplicate warnings.

prepstrip: optimize duplicate calls to `has`

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: merge debugedit checks

Avoid checking for debugedit multiple times.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

tests/dodir: check relative path by itself

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

tests: setup default bin env more

We want the default testing env to match default portage env.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: optimize chmod slightly

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

tests/__init__: return int from main()

tests/__init__: import print_function

MaskManager: fix "Unmatched removal", bug #386569

Skip PORTAGE_TMPDIR write check for fetchonly.

Bug #286201

show_ignored_binaries: filter noise, bug #386379

tests: add --list flag to show available tests

Trying to guess at what runtests actually wants in terms of command line
tests is pretty hard.  Any invalid value just gives you an ugly traceback.
So add a helper --list option so the user can easily figure out what the
code wants *exactly*.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

tests: add a --help option to make runtest more friendly

At the moment, trying to do `./runtests.h -h` just produces an ugly and
indecipherable traceback.  Make it a bit more friendly.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

tests: split up getTests into helper funcs to avoid duplication

This avoids a little duplication between the getTestFromCommandLine and
getTests funcs, and they'll get utilized even more in follow up patches.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

runtests: make sure we are in the right dir

The code assumes we're in the top of the tree (when it tries to run with
the full path "pym/portage/tests/runTests"), so try to make sure we are
in the right place to allow things like `../runtests.sh` to "just work".

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Revert "RepoConfigLoader: Recursively expand masters."

This reverts commit ab2a6cc357ba3c8272a4a1556e2c0bcd4bee102e.
Reverting all masters recursion code for now (see bug #386569).

Revert "MaskManager: Fix stacking of lines from master repositories."

This reverts commit 37f05a23fd55b633674f91f4d7658c19e41d2d63.
Reverting all masters recursion code for now (see bug #386569).

Revert "get_masters: protect against infinite recursion"

This reverts commit 5628dac1538985af640102654bce60a8e526daeb.
Reverting all masters recursion code for now (see bug #386569).

get_masters: protect against infinite recursion

We can't have portage crash because of circular deps in layout.conf.

RepoConfig: allow repos.conf 'masters' override

This give the user the power to override 'masters' settings from
layout.conf, is case they want use a different set of masters to
satisfy dependencies. This is especially important now that recursive
expansion of masters is supported since commit
ab2a6cc357ba3c8272a4a1556e2c0bcd4bee102e, so that the user can avoid
pulling in unwanted repositories as dependencies, if necessary.

Also, empty 'masters' settings are now supported, in case a repo
wants to avoid implicit inheritance of PORTDIR settings like
package.mask.

tests: fix whitespace to be consistent

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

MaskManager: Fix stacking of lines from master repositories.

RepoConfigLoader: Recursively expand masters.

whirlpool.py: tabs to spaces

portage/mail: always UTF-8 charset for MIMEText

This will fix bug #386095.

repoman: add 'repository' to portdbapi cache

This fixes _getMaskAtom to work correctly with the repo atoms that are
generated by MaskManager, solving the issue reported here:

https://github.com/cschwan/sage-on-gentoo/issues/90#issuecomment-2324953

repoman: tweak myupdates/myheaders commit logic

If we unconditionally exclude myremoved from myupdates, then removed
files will also be excluded from myheaders. This allows us to avoid
unnecessary separate manifest commits in cases when "myheaders" only
contained files that were being removed. Since our code always uses
myupdates + myremoved, this change in logic doesn't break anything.

repoman: tweak commit logic wrt thin-manifest

Don't populate the "myheaders" variable when we have thin-manifests
that contain only DIST entries.

Don't do a split signed Manifest commit when no headers will change. Fixes bug #340475.

elog/collect_ebuild_messages: strip trailing \n

This fixes unintended extra blank lines since commit
1c8ff00a26b0e2e3627e9c552374f71235ee6c39.

match_to_list: preserve order

This allows us to properly test behavior of best_match_to_list with
different permutations of the input.

test_best_match_to_list: test all permutations

dblink._elog_process: preserve empty lines

Execute tests bundled with the whirlpool module.

Mark some messages for translation.

whirlpool.py: fix for python3

whirlpool.py: skip tests during import

RepoConfig: sort __slots__

testManifest: enable manifest-hashes

repoman: bail out if unsupported manifest-hashes

best_match_to_list: order by version number

This should fix the issue shown in bug 375265, comment #10.

Suppress warnings with DeprecationWarning.

These manifest-hashes warnings are irrelevant to regular users, so suppress
them by default.

Warn for questionable layout.conf manifest-hashes

manfest.py: import constants directly