digestcheck: remove empty/missing Manifest checks

These checks never really needed, and they are not valid for thin
manifests or allow-missing-manifests.

Remove Manifest if it is not needed.

With thin manifest, there's no need to have a Manifest file if there
are no DIST entries.

Don't write empty (thin) Manifest files.

With thin manifest, there's no need to have a Manifest file if there
are no DIST entries.

Fix typos in comments.

Fix grammar in some messages.

repoman: use repodir more

repoman: test symlinked repo path

repoman: use the repodir variable more

digestgen: remove duplicate 'mytree' variables

digestgen: handle get_repo_for_location KeyError

repoman: fix KeyError from digestgen with symlink

Deprecate the manifest1_compat parameter.

manifest: remove unused 'pf is None' case

man/portage.5: layout.conf examples manifests

metadata/layout.conf: "sign-manifests = false"

This allows repos to disable manifest signatures, which is useful if
they want to prevent merge conflicts like those that thin-manifests is
designed to prevent.

ebuild(1): remove unneeded porttrees modification

This code should be unnecessary, as long as the repo is correctly
identified for all calls to portdbapi methods like aux_get and
findname. Notably, config.setcpv() must be called with a Package
instance in order to ensure that it gets the metadata from the correct
repository.

_validate_deps: pass myrepo to aux_get

ebuild(1): avoid "Location not set for repo" msgs

When overriding PORTDIR_OVERLAY, we can avoid "Location not set for
repository" messages if we include the original PORTDIR_OVERLAY paths
in the overridden setting.

doebuild: support allow-missing and thin manifest

repoman: don't sign thin manifests

Thin manifests imply reliance on the VCS for file integrity,
which implies that manifest signatures are not needed.

Add tests for thin manifests

add layout.conf awareness of thin-manifests

For any repo that wants thin (just src_uri digests), they just need to add

thin-manifests = true

to their layout.conf.  Again, this should only be used in repositories
were the backing vcs provides checksums for the ebuild data.

add thin manifest support to the Manifest class

'thin' is just distfiles.  This is primarily useful when the ebuild
lives in a vcs- git for example, which already has it's own checksums
to rely on.

Bind all manifest access through repoconfigs

This enables controling the behaviour (creation and validation) per
repo, and while mildly ugly, refactors in the right direction.

refactoring; unhide part of the parsing functionality

ebuild.sh: make use* return false for "depend"

This ensures that `use multislot` is false for the "depend" phase.

save-ebuild-env.sh: tweak PYTHONPATH cleansing

config: set USERLAND if unset

isolated-functions.sh: skip set_colors for depend

This avoids an unneeded stty call.

Move KV funcs to bashrc-functions.sh.

isolated-functions.sh: split save-ebuild-env.sh

ebuild.sh: setup PATH earlier

This avoids "uname: command not found" messages from
isolated-functions.sh.

ebuild.sh: source *.sh at the top

Move preprocess_ebuild_env to phase-functions.sh.

ebuild.sh: split out bashrc-functions.sh

ebuild.sh: move hasg* funcs into econf

ebuild.sh: remove unused lchown and lchgrp

build.sh: has/best_version to phase-helpers.sh

ebuild.sh: move ebuild_main to phase-functions.sh

ebuild.sh: move use* funcs to phase-helpers.sh

ebuild.sh: add dummy funcs for "depend" phase

depgraph: pull in new virtual slots with --update

This re-implements the fix from commit
21330075f07248765016e104b3ba8216903f1ecb, without introducing the
unwanted behavior reported in bug 382557. This involves checking the
direct dependencies of virtual slot updates to make sure they are all
visible, before pulling them in.

Add VirtualSlotResolverTestCase for bug #382557.

Revert virtual slot update code for bug 382557.

This reverts the behavior change from commit
21330075f07248765016e104b3ba8216903f1ecb, since it's too aggressive in
pulling in new virtual slots that may have masked dependencies.

ebuild.sh: split out phase-helpers.sh

This relocates phase helper functions that are needed for execution of
regular phases, but not for the "depend" phase. It reduces the size of
ebuild.sh by 25%, so there's less code to be sourced during the
"depend" phase.

ebuild.sh: split out phase-functions.sh

This relocates dyn_* and related functions that are needed for
execution of regular phases, but not for the "depend" phase. It
reduces the size of ebuild.sh by 23%, so there's less code to be
sourced during the "depend" phase.

depgraph: refactor virtual slot --update code

This re-implements the change from commit
21330075f07248765016e104b3ba8216903f1ecb in order to avoid executing
unnessary virtual slot expansion code when the given atom specifies a
slot or --update is enabled.

repoman: fix a typo in the file.executable desc

Add repoman warning about bash-completion deprecation.

depgraph: use Atom.with_slot() to match virtuals

This ensures that USE deps and repo deps are preserved here.

Atom: add a with_slot method for adding a slot

depgraph: use _iter_match_pkgs_any where possible

Use utf_8 'merge' encoding for all locales.

Previously, we used sys.getfilesystemencoding() for the 'merge'
encoding, but that had various problems:

   1) If the locale is ever changed then it can cause orphan files due
      to changed character set translation.

   2) Ebuilds typically install files with utf_8 encoded file names,
      and then portage would be forced to rename those files to match
      sys.getfilesystemencoding(), possibly breaking things.

   3) Automatic translation between encodings can lead to nonsensical
      file names when the source encoding is unknown by portage.

   4) It's inconvenient for ebuilds to convert the encodings of file
      names themselves, and upstreams typically encode file names with
      utf_8 encoding.

So, instead of relying on sys.getfilesystemencoding(), we avoid the above
problems by using a constant utf_8 'merge' encoding for all locales, as
discussed in bug #382199 and bug #381509.

depgraph: pull in new virtual slots with --update

Previously, the virtual cost minimization code from bug #141118 would
prevent virtual dependencies from pulling in new slots. That behavior
was not desired for --update, so now it's fixed to pull in the latest
slot available. This allows virtual/jdk-1.7.0 to be pulled in by
dependencies when --update is enabled.

getbinpkg: fix old binhost protocol for python3

This will fix bug #382233.

egencache: tweak cache dir write access check

egencache: remove metadata-transfer warning

It should be enough that the automatic use of metadata-transfer is
documented in the man page, and allows us to avoid showing a useless
warning in common usage scenarios.

pordbapi: add unshared cache mode for egencache

egencache: validate cache dir more

cache/volatile: fix __iter__ and __contains__

Special methods can't be assigned in the constructor.

abssymlink: fix inverted logic from last commit

merge: avoid abssymlink readlink call

This will avoid the "OSError: [Errno 2] No such file or directory" that
is triggered inside abssymlink if the merge encoding is not ascii or
utf_8, as shown in bug #382021.

tests/emerge: test regenworld

tests/emerge: test fixpackages

tests/emerge: test env-update

tests/emerge: test portageq

ResolverPlayground: make.profile in /etc/portage

tests/emerge: test egencache

This tests --update in any case, and --update-use-local-desc only if
python xml support is detected.

tests/emerge: add a debug mode that shows stdout

tests/emerge: test directory with latin-1 enc

Update unread news items in --pretend mode.

This has been disabled since commit
c7faa634369e61b87a40172ceb0a5cb9494fd518, but the only reason cited
was to avoid permissions issues. So, go ahead and enable it, and handle
PermissionDenied just in case. NOTE: The NewsManager typically handles
permission errors by returning silently, so PermissionDenied won't
necessarily be raised even if we do trigger a permission error.

test_pty_eof: add SKIP msg for unsupported plat

tests/emerge: auto-disable sandbox if necessary

Fix repoman dependency.unknown to use xmatch.

This solves the issues discussed in bug #381087, comment #8.

Handle symlink content with bad encoding.

This will fix bug #381629. The case is tested in tests/emerge. During
forced charset conversion, 'ascii' codec is forced, since otherwise we
somehow end up with the wrongly encoded file names when running the
test with Python 3.2 (which causes encoding problems for quickpkg when
it calls tarfile.gettarinfo).

Join /var/log/emerge.log with EPREFIX.

elog/mod_save: join /var/log with os.sep too

elog/mod_echo: send all msg types to stdout

elog/mod_save: join /var/log with EPREFIX

Handle unpickle EOFError.

Handle unpickle AttributeError (bug #381705).

tests/emerge: add minimal herds.xml

This will allow src_test to trigger issues like bug #381657.

xml/metadata: handle py 3.1 cElementTree incompat

This will fix bug #381657.

Fix indentation.

xml/metadata: handle py 2.6 cElementTree incompat

vartree: add missing _merge_unicode_error import

tests/emerge: disable unmerge delays

tests/emerge: test binary packages and emaint

Use utf_8 encoding for merge when ascii is configured.

It probably won't hurt, and forced conversion to ascii encoding is
known to break some packages that install file names with utf_8
encoding (see bug #381509). The ascii aliases are borrowed from
python's encodings.aliases.aliases dict.

tests/emerge: enable arbitrary commands

This will allow us to throw in some test commands for various helpers
related to emerge (things like etc-update, dispatch-conf, quickpkg,
portageq, ebuild, and emaint).

Show merge list before "missed update" messages.

merge: start at correct EPREFIX offset

tests/emerge: install some files

tests/emerge: add some pkgs for depclean

doebuild_environment: include EPREFIX in ED

unmerge: never unmerge outside of EROOT

xml/metadata: implement XMLParser.doctype()

Avoid deprecation warnings again, like in commit
63035acd702ab0cdaac31e33676b5a20a91eae47.

Revert "xml/metadata: implement XMLParser.doctype()"

This reverts commit ce501b36d7078db059c606d3b4f38637ad09528e.
This commit had lots of unintended changes included.

xml/metadata: implement XMLParser.doctype()

Avoid deprecation warnings again, like in commit
63035acd702ab0cdaac31e33676b5a20a91eae47.

Fix deprecated Element.getchildren() call.