depgraph: handle unicode exception for bug 384749

merge: handle \r in file names for bug #384597

porttree.py: remove unused variables

Cleanup unused variables / imports reported by pyflakes.

Change-Id: I92890279dc69974da94cc9a8a5483ddd295512d4

tests/emerge: call ebuild(1)

portdbapi.xmatch: fix unknown repo / return empty

We want to return an empty list for the match-* methods, otherwise an
empty string.

portdbapi: deprecate unused 'visible' method

portdbapi.xmatch: combine match-all with others

This eliminates redundant code.

portdbapi.xmatch: combine minimum-all/*-visible

This eliminates redundant code.

portdbapi.xmatch: combine *-visible code

This allows match-visible to avoid calling match-all, which allows it
to avoid an extra loop over all repos.

portdbapi.xmatch: optimize minimum-visible

Also, make repoman cache IUSE, since that's required for _match_use to
work effciently. This will eliminate lots of redundant aux_get calls
for repoman, triggered by USE deps.

dbapi: split _match_use from _iter_match_use

portdbapi: tweak single-tree optimization

This optimizes aux_get and cp_list for cases where we only have a
single tree, which is common for repoman and ebuild(1).

portdbapi.xmatch: use _visible more

Invalidate 'no-herd', there will be no special herds.

portdbapi: split _visible from _iter_visible

portdbapi: move repo loop to _iter_visible

This allows use to avoid using a set to eliminate duplicates, since we
can break out of the repo loop as soon as a given cpv is found to be
visible.

pordbapi: split _iter_visible method from visible

portdbapi: combine gvisible and visible methods

There's no need to have separate methods, and this allows us to avoid
using separate aux_get calls in each method.

portageq best_visible: use match-all-cpv-only

portdbapi.xmatch: deprecate *match-list

These don't mesh well with multi-repo support.

portdbapi.xmatch: fix minimum-all for multi-repo

Fix cp_list mytree argument for match-all.

This is a regression from commit
3d07f74a2fb2e0480e126335f6981218f60da824.

install_hooks: fix variable name for PORTAGE_CONFIGROOT

in addition, omit the leading slash, since PORTAGE_CONFIGROOT contains a
trailing slash

portdbapi.xmatch: fix match-all for multi-repo

man/emerge.1: fix spelling of behavior

Revert "unpack: handle non-gz files from deb2targz"

This reverts commit dd7c57ecb90949ce3306394cfe262566b87351ca.
We'll do this in a new EAPI, as discussed in bug #384147.

unpack: handle non-gz files from deb2targz

This will fix bug #384147.

Fix a typo.

Fix 'shopt: +s: invalid shell option name' error.

portdbapi.xmatch: deprecate list-visible

Fix Atom.with_repo() bugs.

Fix minimum/bestmatch-visible for multi-repo.

portdbapi: handle multi-repo visiblity

This will fix bug #384063. The xmatch list-visible mode was previously
used to cache a list of all visible cpvs for a given cp, but this is
not useful when there can be duplicate cpvs with different visibility
from multiple repos.

Atom: add a with_repo method for adding a repo

fetch: remove stray print for bug 383859

portageq best_visible: multi-repo support

This will fix bug #384063.

Test direct virtual circular dep for bug #384107.

Test || choice circular handling.

Tweak auto --binpkg-respect-use more.

We don't want to check for --rebuilt-binaries here, unless --usepkg
is also enabled. In fact, we can skip the --rebuilt-binaries check
since people who really want to ensure that binary packages are used
as much as possible will typically specify --usepkgonly (or
--getbinpkgonly which implies --usepkgonly).

Tweak automatic --binpkg-respect-use behavior.

If --binpkg-respect-use is not explicitly specified, we enable the
behavior automatically (like requested in bug #297549), as long as it
doesn't strongly conflict with other options that have been specified.
Strongly conflicting options currently include --usepkgonly and
--rebuilt-binaries.

Make --binpkg-respect-use=y the default

Explicitly stating --binpkg-respect-use=y will disable the ignored
binary warning. This will fix bug #297549.

Warn about ignored binary packages with non matching USE

add install hooks

emerge: add --complete-graph-if-new-ver < y | n >

Trigger the --complete-graph behavior if an installed package version will
change (upgrade or downgrade). This option is enabled by default.

Point users to the man page instead of duplicating it in --help

autounmask: Always use unresticted atoms for license and USE changes

See bug 379333.

Reject inconsistent backtrack parameters

If backtracking masks a package that caused another package to
be masked, we declare this backtracking node as invalid. The
backtracker should be able to find another node that gives a
valid solution if one exists. This fixes bug 375573.

Document ** keyword for --autounmask-keep-masks.

Suggest --autounmask-keep-masks for ** keyword.

Suggest --autounmask-keep-masks instead of --autounmask=n

Currently emerge suggests --autounmask=n if any configuration
change is proposed. With this patch it will print a suggestion
only for mask changes, as these are the changes people complain
most about. It will suggest --autounmask-keep-masks in this case.

autounmask: Add --autounmask-keep-masks option

Disables creation of p.unmask entries to allow users
to insist on their masks and hope for another conflict
resolution (i.e. missed update). This fixes bug 372485.

autounmask: Add --autounmask-unrestricted-atoms option

The default behavior of --autounmask is now changed back to
the original one, namely to use '=' operators. The
--autounmask-unrestricted-atoms option allows the use of '>='
operators whenever possible. This addresses the issues raised
in bugs 372405, 374331 and 379333.

bin/ebuild: simplify PORTDIR_OVERLAY query

There's no need to query os.environ here, because portage.settings
will inherit the value automatically.

Test --prune with virtual slots.

env_update: add more vardbapi fallback code

For API consumers that call this function without the vardbapi
parameter, it whould continue to work correctly in all the cases
that worked before the vardbapi was added.

env_update: use global vardbapi as fallback

get_dep_chain: fix KeyError if start_node is root

install_qa_check: adjust "poor programming" msgs

Refer to "severe warnings" rather than "poor programming", in order to
be more politically correct, as discussed in bug #374233.

autounmask: Document where changes are writen

autounmask: Ensure a suitable parent is displayed in the dep chain

Fixes bug 375265.

ResolverPlayground: Add support for world sets

depclean: don't remove new virtual slots

This provides depclean symmetry with the change in update behavior
from commit b95cbb6b78ad6d9b8e2d3edc5fafff122c3ce7c5, so that new
virtual slots won't be removed by depclean immediately after they
have been pulled in.

RepoConfigLoader: handle ValueError from shlex

This will handle the issue reported in bug #383269, comment #5.

_RepoDisplay: split PORTDIR_OVERLAY with shlex

This fixes the issue in bug #383269, comment #8.

emerge-webrsync: exit if "gpg binary not found"

This prevents an endless loop (bug #383375).

config: quote PORTDIR_OVERLAY paths more

This fixes the issue in bug #383269, comment #3.

repoman: quote paths in PORTDIR_OVERLAY

This will fix bug #383269.

move locking into env_update itself

Remove unused Manifest imports.

doebuild: avoid redundant distfiles checks

digestcheck: only show relevant msgs for thin

Fix multislot handling for depclean (bug #382823)

Test non-empty thin manifests.

Handle non-existent thin manifest in tests.

digestcheck: remove empty/missing Manifest checks

These checks never really needed, and they are not valid for thin
manifests or allow-missing-manifests.

Remove Manifest if it is not needed.

With thin manifest, there's no need to have a Manifest file if there
are no DIST entries.

Don't write empty (thin) Manifest files.

With thin manifest, there's no need to have a Manifest file if there
are no DIST entries.

Fix typos in comments.

Fix grammar in some messages.

repoman: use repodir more

repoman: test symlinked repo path

repoman: use the repodir variable more

digestgen: remove duplicate 'mytree' variables

digestgen: handle get_repo_for_location KeyError

repoman: fix KeyError from digestgen with symlink

Deprecate the manifest1_compat parameter.

manifest: remove unused 'pf is None' case

man/portage.5: layout.conf examples manifests

metadata/layout.conf: "sign-manifests = false"

This allows repos to disable manifest signatures, which is useful if
they want to prevent merge conflicts like those that thin-manifests is
designed to prevent.

ebuild(1): remove unneeded porttrees modification

This code should be unnecessary, as long as the repo is correctly
identified for all calls to portdbapi methods like aux_get and
findname. Notably, config.setcpv() must be called with a Package
instance in order to ensure that it gets the metadata from the correct
repository.

_validate_deps: pass myrepo to aux_get

ebuild(1): avoid "Location not set for repo" msgs

When overriding PORTDIR_OVERLAY, we can avoid "Location not set for
repository" messages if we include the original PORTDIR_OVERLAY paths
in the overridden setting.

doebuild: support allow-missing and thin manifest

repoman: don't sign thin manifests

Thin manifests imply reliance on the VCS for file integrity,
which implies that manifest signatures are not needed.

Add tests for thin manifests

add layout.conf awareness of thin-manifests

For any repo that wants thin (just src_uri digests), they just need to add

thin-manifests = true

to their layout.conf.  Again, this should only be used in repositories
were the backing vcs provides checksums for the ebuild data.

add thin manifest support to the Manifest class

'thin' is just distfiles.  This is primarily useful when the ebuild
lives in a vcs- git for example, which already has it's own checksums
to rely on.

Bind all manifest access through repoconfigs

This enables controling the behaviour (creation and validation) per
repo, and while mildly ugly, refactors in the right direction.

refactoring; unhide part of the parsing functionality