Reject inconsistent backtrack parameters

If backtracking masks a package that caused another package to
be masked, we declare this backtracking node as invalid. The
backtracker should be able to find another node that gives a
valid solution if one exists. This fixes bug 375573.

Document ** keyword for --autounmask-keep-masks.

Suggest --autounmask-keep-masks for ** keyword.

Suggest --autounmask-keep-masks instead of --autounmask=n

Currently emerge suggests --autounmask=n if any configuration
change is proposed. With this patch it will print a suggestion
only for mask changes, as these are the changes people complain
most about. It will suggest --autounmask-keep-masks in this case.

autounmask: Add --autounmask-keep-masks option

Disables creation of p.unmask entries to allow users
to insist on their masks and hope for another conflict
resolution (i.e. missed update). This fixes bug 372485.

autounmask: Add --autounmask-unrestricted-atoms option

The default behavior of --autounmask is now changed back to
the original one, namely to use '=' operators. The
--autounmask-unrestricted-atoms option allows the use of '>='
operators whenever possible. This addresses the issues raised
in bugs 372405, 374331 and 379333.

bin/ebuild: simplify PORTDIR_OVERLAY query

There's no need to query os.environ here, because portage.settings
will inherit the value automatically.

Test --prune with virtual slots.

env_update: add more vardbapi fallback code

For API consumers that call this function without the vardbapi
parameter, it whould continue to work correctly in all the cases
that worked before the vardbapi was added.

env_update: use global vardbapi as fallback

get_dep_chain: fix KeyError if start_node is root

install_qa_check: adjust "poor programming" msgs

Refer to "severe warnings" rather than "poor programming", in order to
be more politically correct, as discussed in bug #374233.

autounmask: Document where changes are writen

autounmask: Ensure a suitable parent is displayed in the dep chain

Fixes bug 375265.

ResolverPlayground: Add support for world sets

depclean: don't remove new virtual slots

This provides depclean symmetry with the change in update behavior
from commit b95cbb6b78ad6d9b8e2d3edc5fafff122c3ce7c5, so that new
virtual slots won't be removed by depclean immediately after they
have been pulled in.

RepoConfigLoader: handle ValueError from shlex

This will handle the issue reported in bug #383269, comment #5.

_RepoDisplay: split PORTDIR_OVERLAY with shlex

This fixes the issue in bug #383269, comment #8.

emerge-webrsync: exit if "gpg binary not found"

This prevents an endless loop (bug #383375).

config: quote PORTDIR_OVERLAY paths more

This fixes the issue in bug #383269, comment #3.

repoman: quote paths in PORTDIR_OVERLAY

This will fix bug #383269.

move locking into env_update itself

Remove unused Manifest imports.

doebuild: avoid redundant distfiles checks

digestcheck: only show relevant msgs for thin

Fix multislot handling for depclean (bug #382823)

Test non-empty thin manifests.

Handle non-existent thin manifest in tests.

digestcheck: remove empty/missing Manifest checks

These checks never really needed, and they are not valid for thin
manifests or allow-missing-manifests.

Remove Manifest if it is not needed.

With thin manifest, there's no need to have a Manifest file if there
are no DIST entries.

Don't write empty (thin) Manifest files.

With thin manifest, there's no need to have a Manifest file if there
are no DIST entries.

Fix typos in comments.

Fix grammar in some messages.

repoman: use repodir more

repoman: test symlinked repo path

repoman: use the repodir variable more

digestgen: remove duplicate 'mytree' variables

digestgen: handle get_repo_for_location KeyError

repoman: fix KeyError from digestgen with symlink

Deprecate the manifest1_compat parameter.

manifest: remove unused 'pf is None' case

man/portage.5: layout.conf examples manifests

metadata/layout.conf: "sign-manifests = false"

This allows repos to disable manifest signatures, which is useful if
they want to prevent merge conflicts like those that thin-manifests is
designed to prevent.

ebuild(1): remove unneeded porttrees modification

This code should be unnecessary, as long as the repo is correctly
identified for all calls to portdbapi methods like aux_get and
findname. Notably, config.setcpv() must be called with a Package
instance in order to ensure that it gets the metadata from the correct
repository.

_validate_deps: pass myrepo to aux_get

ebuild(1): avoid "Location not set for repo" msgs

When overriding PORTDIR_OVERLAY, we can avoid "Location not set for
repository" messages if we include the original PORTDIR_OVERLAY paths
in the overridden setting.

doebuild: support allow-missing and thin manifest

repoman: don't sign thin manifests

Thin manifests imply reliance on the VCS for file integrity,
which implies that manifest signatures are not needed.

Add tests for thin manifests

add layout.conf awareness of thin-manifests

For any repo that wants thin (just src_uri digests), they just need to add

thin-manifests = true

to their layout.conf.  Again, this should only be used in repositories
were the backing vcs provides checksums for the ebuild data.

add thin manifest support to the Manifest class

'thin' is just distfiles.  This is primarily useful when the ebuild
lives in a vcs- git for example, which already has it's own checksums
to rely on.

Bind all manifest access through repoconfigs

This enables controling the behaviour (creation and validation) per
repo, and while mildly ugly, refactors in the right direction.

refactoring; unhide part of the parsing functionality

ebuild.sh: make use* return false for "depend"

This ensures that `use multislot` is false for the "depend" phase.

save-ebuild-env.sh: tweak PYTHONPATH cleansing

config: set USERLAND if unset

isolated-functions.sh: skip set_colors for depend

This avoids an unneeded stty call.

Move KV funcs to bashrc-functions.sh.

isolated-functions.sh: split save-ebuild-env.sh

ebuild.sh: setup PATH earlier

This avoids "uname: command not found" messages from
isolated-functions.sh.

ebuild.sh: source *.sh at the top

Move preprocess_ebuild_env to phase-functions.sh.

ebuild.sh: split out bashrc-functions.sh

ebuild.sh: move hasg* funcs into econf

ebuild.sh: remove unused lchown and lchgrp

build.sh: has/best_version to phase-helpers.sh

ebuild.sh: move ebuild_main to phase-functions.sh

ebuild.sh: move use* funcs to phase-helpers.sh

ebuild.sh: add dummy funcs for "depend" phase

depgraph: pull in new virtual slots with --update

This re-implements the fix from commit
21330075f07248765016e104b3ba8216903f1ecb, without introducing the
unwanted behavior reported in bug 382557. This involves checking the
direct dependencies of virtual slot updates to make sure they are all
visible, before pulling them in.

Add VirtualSlotResolverTestCase for bug #382557.

Revert virtual slot update code for bug 382557.

This reverts the behavior change from commit
21330075f07248765016e104b3ba8216903f1ecb, since it's too aggressive in
pulling in new virtual slots that may have masked dependencies.

ebuild.sh: split out phase-helpers.sh

This relocates phase helper functions that are needed for execution of
regular phases, but not for the "depend" phase. It reduces the size of
ebuild.sh by 25%, so there's less code to be sourced during the
"depend" phase.

ebuild.sh: split out phase-functions.sh

This relocates dyn_* and related functions that are needed for
execution of regular phases, but not for the "depend" phase. It
reduces the size of ebuild.sh by 23%, so there's less code to be
sourced during the "depend" phase.

depgraph: refactor virtual slot --update code

This re-implements the change from commit
21330075f07248765016e104b3ba8216903f1ecb in order to avoid executing
unnessary virtual slot expansion code when the given atom specifies a
slot or --update is enabled.

repoman: fix a typo in the file.executable desc

Add repoman warning about bash-completion deprecation.

depgraph: use Atom.with_slot() to match virtuals

This ensures that USE deps and repo deps are preserved here.

Atom: add a with_slot method for adding a slot

depgraph: use _iter_match_pkgs_any where possible

Use utf_8 'merge' encoding for all locales.

Previously, we used sys.getfilesystemencoding() for the 'merge'
encoding, but that had various problems:

   1) If the locale is ever changed then it can cause orphan files due
      to changed character set translation.

   2) Ebuilds typically install files with utf_8 encoded file names,
      and then portage would be forced to rename those files to match
      sys.getfilesystemencoding(), possibly breaking things.

   3) Automatic translation between encodings can lead to nonsensical
      file names when the source encoding is unknown by portage.

   4) It's inconvenient for ebuilds to convert the encodings of file
      names themselves, and upstreams typically encode file names with
      utf_8 encoding.

So, instead of relying on sys.getfilesystemencoding(), we avoid the above
problems by using a constant utf_8 'merge' encoding for all locales, as
discussed in bug #382199 and bug #381509.

depgraph: pull in new virtual slots with --update

Previously, the virtual cost minimization code from bug #141118 would
prevent virtual dependencies from pulling in new slots. That behavior
was not desired for --update, so now it's fixed to pull in the latest
slot available. This allows virtual/jdk-1.7.0 to be pulled in by
dependencies when --update is enabled.

getbinpkg: fix old binhost protocol for python3

This will fix bug #382233.

egencache: tweak cache dir write access check

egencache: remove metadata-transfer warning

It should be enough that the automatic use of metadata-transfer is
documented in the man page, and allows us to avoid showing a useless
warning in common usage scenarios.

pordbapi: add unshared cache mode for egencache

egencache: validate cache dir more

cache/volatile: fix __iter__ and __contains__

Special methods can't be assigned in the constructor.

abssymlink: fix inverted logic from last commit

merge: avoid abssymlink readlink call

This will avoid the "OSError: [Errno 2] No such file or directory" that
is triggered inside abssymlink if the merge encoding is not ascii or
utf_8, as shown in bug #382021.

tests/emerge: test regenworld

tests/emerge: test fixpackages

tests/emerge: test env-update

tests/emerge: test portageq

ResolverPlayground: make.profile in /etc/portage

tests/emerge: test egencache

This tests --update in any case, and --update-use-local-desc only if
python xml support is detected.

tests/emerge: add a debug mode that shows stdout

tests/emerge: test directory with latin-1 enc

Update unread news items in --pretend mode.

This has been disabled since commit
c7faa634369e61b87a40172ceb0a5cb9494fd518, but the only reason cited
was to avoid permissions issues. So, go ahead and enable it, and handle
PermissionDenied just in case. NOTE: The NewsManager typically handles
permission errors by returning silently, so PermissionDenied won't
necessarily be raised even if we do trigger a permission error.

test_pty_eof: add SKIP msg for unsupported plat