Remove extended package set configuration docs.

Extended package sets configuration is disabled in the stable branch.

Remove FEATURES=preserve-libs config/docs.

Support for FEATURES=preserve-libs is disabled in the stable branch.

portage.const: toggle constants for stable branch

_ENABLE_DYN_LINK_MAP    = False
_ENABLE_PRESERVE_LIBS   = False
_ENABLE_REPO_NAME_WARN  = False
_ENABLE_SET_CONFIG      = False
_SANDBOX_COMPAT_LEVEL   = "16"

Remove FEATURES=fixpackages support.

This reduces the probability of users encountering issues related to
package moves when they disable --dynamic-deps, and --package-moves=n
can be set in EMERGE_DEFAULT_OPTS if package moves need to be
temporarily avoided for some reason.

Ensure correct IUSE in vdb for bug #386829.

bin/ebuild: add --version option

prepstrip: make sure eu-strip embeds right filename

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

fetch: tweak space msg for bug #386797

elog_process: fix ridicoulus newlines bug #386771

This fixes a regression since commit 8a119ea94ecc6668797e3a1358465ef3733f3a3e
which added a newline after each character. This boosts efficiency since we no
longer convert a strings to lists of characters.

prepstrip: add support for elfutils strip

If people use strip from the elfutils package, take advantage of some of
its neat features (like splitting + stripping in one step).

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: extract buildid with readelf to avoid debugedit when possible

The readelf utility is much more common than debugedit.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: avoid a `dirname` with a simple ${var%/*}

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

FakeVartree: disable match wrapper if necessary

FakeVartree: type from last commit

FakeVartree: fix sync for --dynamic-deps=n

Scheduler: fix myopts typo from last commit

Add emerge --dynamic-deps <y|n> option.

This makes it possible to disable the dynamic dependency updates that
FakeVartree performs by default.

WARNING: If --dynamic-deps is disabled, then it is necessary to
ensure that an alternative method is used to handle package moves
in dependencies of installed packages. Normally, this is handled
by FEATURES="fixpackages", which is enabled by default and may be
disabled via make.conf(5). Alternatively, in order to manually apply
package moves, run `emaint --fix moveinst` after each emerge --sync
operation (see emaint(1)).

mod_syslog: add newlines for bug #386627

This fixes omission of newlines in syslog messages since commit
ca7bef7821876791a26a5f9df6938f4c77fe571f.

elog_process: add newlines for bug #386627

This fixes omission of newlines in saved messages since commit
ca7bef7821876791a26a5f9df6938f4c77fe571f.

prepstrip: tweak style of debugedit checks

Make the checks more like the FEATURES/RESTRICT checks from commit
286675a500998e536dbbf2ee2dfe1fedf4290b38.

prepstrip: merge debugedit checks more

Use a ${debugedit_found} to remember if it's found or not, and use
${debugedit_warned} to avoid showing duplicate warnings.

prepstrip: optimize duplicate calls to `has`

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: merge debugedit checks

Avoid checking for debugedit multiple times.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

tests/dodir: check relative path by itself

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

tests: setup default bin env more

We want the default testing env to match default portage env.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: optimize chmod slightly

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

tests/__init__: return int from main()

tests/__init__: import print_function

MaskManager: fix "Unmatched removal", bug #386569

Skip PORTAGE_TMPDIR write check for fetchonly.

Bug #286201

show_ignored_binaries: filter noise, bug #386379

tests: add --list flag to show available tests

Trying to guess at what runtests actually wants in terms of command line
tests is pretty hard.  Any invalid value just gives you an ugly traceback.
So add a helper --list option so the user can easily figure out what the
code wants *exactly*.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

tests: add a --help option to make runtest more friendly

At the moment, trying to do `./runtests.h -h` just produces an ugly and
indecipherable traceback.  Make it a bit more friendly.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

tests: split up getTests into helper funcs to avoid duplication

This avoids a little duplication between the getTestFromCommandLine and
getTests funcs, and they'll get utilized even more in follow up patches.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

runtests: make sure we are in the right dir

The code assumes we're in the top of the tree (when it tries to run with
the full path "pym/portage/tests/runTests"), so try to make sure we are
in the right place to allow things like `../runtests.sh` to "just work".

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Revert "RepoConfigLoader: Recursively expand masters."

This reverts commit ab2a6cc357ba3c8272a4a1556e2c0bcd4bee102e.
Reverting all masters recursion code for now (see bug #386569).

Revert "MaskManager: Fix stacking of lines from master repositories."

This reverts commit 37f05a23fd55b633674f91f4d7658c19e41d2d63.
Reverting all masters recursion code for now (see bug #386569).

Revert "get_masters: protect against infinite recursion"

This reverts commit 5628dac1538985af640102654bce60a8e526daeb.
Reverting all masters recursion code for now (see bug #386569).

get_masters: protect against infinite recursion

We can't have portage crash because of circular deps in layout.conf.

RepoConfig: allow repos.conf 'masters' override

This give the user the power to override 'masters' settings from
layout.conf, is case they want use a different set of masters to
satisfy dependencies. This is especially important now that recursive
expansion of masters is supported since commit
ab2a6cc357ba3c8272a4a1556e2c0bcd4bee102e, so that the user can avoid
pulling in unwanted repositories as dependencies, if necessary.

Also, empty 'masters' settings are now supported, in case a repo
wants to avoid implicit inheritance of PORTDIR settings like
package.mask.

tests: fix whitespace to be consistent

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

MaskManager: Fix stacking of lines from master repositories.

RepoConfigLoader: Recursively expand masters.

whirlpool.py: tabs to spaces

portage/mail: always UTF-8 charset for MIMEText

This will fix bug #386095.

repoman: add 'repository' to portdbapi cache

This fixes _getMaskAtom to work correctly with the repo atoms that are
generated by MaskManager, solving the issue reported here:

https://github.com/cschwan/sage-on-gentoo/issues/90#issuecomment-2324953

repoman: tweak myupdates/myheaders commit logic

If we unconditionally exclude myremoved from myupdates, then removed
files will also be excluded from myheaders. This allows us to avoid
unnecessary separate manifest commits in cases when "myheaders" only
contained files that were being removed. Since our code always uses
myupdates + myremoved, this change in logic doesn't break anything.

repoman: tweak commit logic wrt thin-manifest

Don't populate the "myheaders" variable when we have thin-manifests
that contain only DIST entries.

Don't do a split signed Manifest commit when no headers will change. Fixes bug #340475.

elog/collect_ebuild_messages: strip trailing \n

This fixes unintended extra blank lines since commit
1c8ff00a26b0e2e3627e9c552374f71235ee6c39.

match_to_list: preserve order

This allows us to properly test behavior of best_match_to_list with
different permutations of the input.

test_best_match_to_list: test all permutations

dblink._elog_process: preserve empty lines

Execute tests bundled with the whirlpool module.

Mark some messages for translation.

whirlpool.py: fix for python3

whirlpool.py: skip tests during import

RepoConfig: sort __slots__

testManifest: enable manifest-hashes

repoman: bail out if unsupported manifest-hashes

best_match_to_list: order by version number

This should fix the issue shown in bug 375265, comment #10.

Suppress warnings with DeprecationWarning.

These manifest-hashes warnings are irrelevant to regular users, so suppress
them by default.

Warn for questionable layout.conf manifest-hashes

manfest.py: import constants directly

repoman: account for GLEP 59 in RMD160 check

GLEP 59: use manifest-hashes list in layout.conf

The manifest-hashes layout.conf setting simply overrides the hashes
that are generated. When unspecified, the MANIFEST2_HASH_DEFAULTS
constant is used instead (current value contains SHA1, SHA256, and
RMD160).

In order to enable SHA512 and WHIRLPOOL, and drop RMD160 and SHA1,
simply set "manifest-hashes = SHA256 SHA512 WHIRLPOOL" in layout.conf.
As with the previous boolean flags approach, manifest-hashes settings
become redundant and can be removed from layout.conf after a version
of portage with equivalent defaults is stable.

Implement GLEP 59 with control via layout.conf.

The portage.const changes are derived from an earlier patch that was
submitted by Robin H. Johnson <robbat2@gentoo.org>:

http://archives.gentoo.org/gentoo-portage-dev/msg_911574e7cb615f67e4c21fc75c043f65.xml

This patch has no affect on a repository unless it contains a
metadata/layout.conf file which contains boolean flags that enable or
disable manifest hash types. The plan is to deploy portage with this
patch, and once it has been stabilized, add the following
metadata/layout.conf settings to gentoo-x86:

  manifest-rmd160 = false
  manifest-sha1 = false
  manifest-whirlpool = true

The above settings will become the default settings in a future portage
release, making them redundant and eligible for removal from
layout.conf (in order to avoid cluttering layout.conf with obsolete
information).

Future events:

After WHIRLPOOL is supported in stable portage:
- Add WHIRLPOOL to MANIFEST2_HASH_DEFAULTS.
- Remove SHA1 and RMD160 from MANIFEST2_HASH_*.
- Toggle gentoo-x86/metadata/layout.conf settings to match.

After WHIRLPOOL is supported in stable portage for at least 1 year:
- Change MANIFEST2_REQUIRED_HASH to WHIRLPOOL.
- Remove SHA256 from MANIFEST2_HASH_*.
- Toggle gentoo-x86/metadata/layout.conf settings to match.

After SHA-3 is approved:
- Add new hashes to MANIFEST2_HASH_*.

After SHA-3 is supported in stable portage:
- Toggle gentoo-x86/metadata/layout.conf settings to match.

After layout.conf settings correspond to defaults in stable portage:
- Remove redundant settings from gentoo-x86/metadata/layout.conf.

Manifest.create(): tweak assume-digests code

If we have a local file, before we assume that we don't need to compute
any digests, make sure that the pre-computed digest types are exactly
the same types that we desire.

Manifest.create(): pass allow_* to constructor

This fixes commit f3101b3adce6731790f80f83fafece54b7bd8a63 to ensure
that Manifest.create() works correctly.

Prefer slot conflict over blocker display.

The slot conflict display has better noise reduction than the
unsatisfied blockers display, so skip unsatisfied blockers display if
there are slot conflicts (see bug #385391). Note that this reverses
the logic from bug 159310, since the slot conflict display has evolved
a lot since then.

print_changelog: if no changelogs, no newline

This will fix bug #385413.

dblink._elog_process: handle newlines in messages

This will fix bug #385341.

checksum.py: use fchksum.fmd5t directly

checksum.py: lazily import bundled whirlpool

Manifest2 hash backend provider: mhash

Offer mhash as a provider for Manifest2 hash generation and validation.
This is important as either of pycrypto or fchksum offer an accelerated
Whirlpool implementation, and hashlib might not offer it. Additionally,
the mhash implementation is accelerated and ships with a rigorious
testsuite.

Signed-off-by: Robin H. Johnson <robbat2@gentoo.org>

whirlpool.py: handle xrange for python3

Manifest2 hash: SHA512

Provide SHA512 hash algorithm to be used as new Manifest2 hash.

Signed-off-by: Robin H. Johnson <robbat2@gentoo.org>

Manifest2 hash: Whirlpool

Provide public-domain implementation of the Whirlpool hash algorithm to
be used as new Manifest2 hash.

Signed-off-by: Robin H. Johnson <robbat2@gentoo.org>

Refactor RMD160 hashlib code for less-hardcoding

To be used shortly for WHIRLPOOL as well as RMD160.

Signed-off-by: Robin H. Johnson <robbat2@gentoo.org>

Convert _generate_hash_function into a class.

Convert create_color_func into a class.

Add tests for KEYWORDS masking.

KeywordsManager: support ~* in KEYWORDS

This allows ~* in KEYWORDS to be match by any unstable keyword in the
user's configuration, similar to how * in KEYWORDS already matches any
user configuration. Thanks to Daniel Robbins <drobbins@funtoo.org> for
the suggestion.

Also, the warning about * or -* in KEYWORDS is now gone, so that
ebuilds from the funtoo tree will be usable without triggering
warnings like this. If necessary, we can add ways to selectively
enable these kinds of warnings via layout.conf and/or repos.conf.

dispatch-conf: fix replace-wscomments pattern

This will fix bug #375613.

repos.conf: implement trust-authoritative-cache

This controls whether or not the layout.conf
"authoritative-cache = true" setting will be trusted for a particular
repo. It can be enabled globally by setting
"trust-authoritative-cache = true" in the [DEFAULT] section of
repos.conf.

Fix 'authoritative' spelling.

layout.conf: allow a repository to state the cache is authorative

By authorative, this means "the cache is accurate; skip validation".  While
a useful hint for a slight speedup in validation, the true gain is for
repositories that are distributed in a fashion that doesn't preserve mtime;
git primarily.  Setting authorative-cache = true results in portage
skipping mtime validation checks for the bundled cache, allowing
for git vcs based repos to distribute a cache.

BUG=chromium-os:21049
TEST=dump a cache into metadata/cache, touch it to now, set layout.conf
     to authorative-cache=true, verify it doesn't generate cache entries
     for that repo.

Change-Id: I92423e679bc171d2411a18d6d3ac22e8ef457753

depgraph: tweak virtual transition code

This fixes a false --binpkg-respect-use warning that's triggered by
erroneous USE/IUSE comparison between the new-style virtual and an
old-style virtual match.

depgraph: pull in new-style virtuals more

This causes new-style virtuals to get pulled in for virtuals that are
already satisfied by installed old-style virtuals. This case is common,
due to PROVIDE being (removed without revision bump) from lots of
ebuilds.

repoman: never force unsigned manifest commit

This removes a special case where manifests would first be commited
without signatures for category-level or greater commits. This case
behavior wasn't very useful anyway, and would be a problem if the
unsigned manifests got rejected by a commit hook (as may happen in the
near future).

tweak "missed updates" code from last commit

depgraph: verify "missed updates"

Since the change involving slot conflict parent atoms in commit
6cea2091526659521d35be6c8dc7733f69f1a760, we want to check to make
sure we don't display any false positives in the "missed updates".

dispatch-conf: tweak pager basename comparison

dispatch-conf: support PAGER var for bug #384663

etc-update: support PAGER env var for bug #384663

archive-conf: dispatch_conf import bug #384665

doebuild: allow_missing_manifests AttributeError

Manifest.write(): tweak unlink logic

This narrows the range of possible behaviors, such that the manifest
will always be either written or unlinked, eliminating the possiblity
that a stale manifest will ever be allowed to slip through without
being overwritten or unlinked.

manifest: controllable per repo

This adds three states to layout.conf key use-manifest; false, true, and strict.

false means "don't use manifests at all"
true means "use and generate manifests, but allow them to be missing"
strict means "manifests must be used everywhere in this repo"

BUG=chromium-os:11308
TEST=repoman manifest usage.

depgraph: handle unicode exception for bug 384749