depgraph: use Atom.with_slot() to match virtuals

This ensures that USE deps and repo deps are preserved here.

Atom: add a with_slot method for adding a slot

depgraph: use _iter_match_pkgs_any where possible

Use utf_8 'merge' encoding for all locales.

Previously, we used sys.getfilesystemencoding() for the 'merge'
encoding, but that had various problems:

   1) If the locale is ever changed then it can cause orphan files due
      to changed character set translation.

   2) Ebuilds typically install files with utf_8 encoded file names,
      and then portage would be forced to rename those files to match
      sys.getfilesystemencoding(), possibly breaking things.

   3) Automatic translation between encodings can lead to nonsensical
      file names when the source encoding is unknown by portage.

   4) It's inconvenient for ebuilds to convert the encodings of file
      names themselves, and upstreams typically encode file names with
      utf_8 encoding.

So, instead of relying on sys.getfilesystemencoding(), we avoid the above
problems by using a constant utf_8 'merge' encoding for all locales, as
discussed in bug #382199 and bug #381509.

depgraph: pull in new virtual slots with --update

Previously, the virtual cost minimization code from bug #141118 would
prevent virtual dependencies from pulling in new slots. That behavior
was not desired for --update, so now it's fixed to pull in the latest
slot available. This allows virtual/jdk-1.7.0 to be pulled in by
dependencies when --update is enabled.

getbinpkg: fix old binhost protocol for python3

This will fix bug #382233.

egencache: tweak cache dir write access check

egencache: remove metadata-transfer warning

It should be enough that the automatic use of metadata-transfer is
documented in the man page, and allows us to avoid showing a useless
warning in common usage scenarios.

pordbapi: add unshared cache mode for egencache

egencache: validate cache dir more

cache/volatile: fix __iter__ and __contains__

Special methods can't be assigned in the constructor.

abssymlink: fix inverted logic from last commit

merge: avoid abssymlink readlink call

This will avoid the "OSError: [Errno 2] No such file or directory" that
is triggered inside abssymlink if the merge encoding is not ascii or
utf_8, as shown in bug #382021.

tests/emerge: test regenworld

tests/emerge: test fixpackages

tests/emerge: test env-update

tests/emerge: test portageq

ResolverPlayground: make.profile in /etc/portage

tests/emerge: test egencache

This tests --update in any case, and --update-use-local-desc only if
python xml support is detected.

tests/emerge: add a debug mode that shows stdout

tests/emerge: test directory with latin-1 enc

Update unread news items in --pretend mode.

This has been disabled since commit
c7faa634369e61b87a40172ceb0a5cb9494fd518, but the only reason cited
was to avoid permissions issues. So, go ahead and enable it, and handle
PermissionDenied just in case. NOTE: The NewsManager typically handles
permission errors by returning silently, so PermissionDenied won't
necessarily be raised even if we do trigger a permission error.

test_pty_eof: add SKIP msg for unsupported plat

tests/emerge: auto-disable sandbox if necessary

Fix repoman dependency.unknown to use xmatch.

This solves the issues discussed in bug #381087, comment #8.

Handle symlink content with bad encoding.

This will fix bug #381629. The case is tested in tests/emerge. During
forced charset conversion, 'ascii' codec is forced, since otherwise we
somehow end up with the wrongly encoded file names when running the
test with Python 3.2 (which causes encoding problems for quickpkg when
it calls tarfile.gettarinfo).

Join /var/log/emerge.log with EPREFIX.

elog/mod_save: join /var/log with os.sep too

elog/mod_echo: send all msg types to stdout

elog/mod_save: join /var/log with EPREFIX

Handle unpickle EOFError.

Handle unpickle AttributeError (bug #381705).

tests/emerge: add minimal herds.xml

This will allow src_test to trigger issues like bug #381657.

xml/metadata: handle py 3.1 cElementTree incompat

This will fix bug #381657.

Fix indentation.

xml/metadata: handle py 2.6 cElementTree incompat

vartree: add missing _merge_unicode_error import

tests/emerge: disable unmerge delays

tests/emerge: test binary packages and emaint

Use utf_8 encoding for merge when ascii is configured.

It probably won't hurt, and forced conversion to ascii encoding is
known to break some packages that install file names with utf_8
encoding (see bug #381509). The ascii aliases are borrowed from
python's encodings.aliases.aliases dict.

tests/emerge: enable arbitrary commands

This will allow us to throw in some test commands for various helpers
related to emerge (things like etc-update, dispatch-conf, quickpkg,
portageq, ebuild, and emaint).

Show merge list before "missed update" messages.

merge: start at correct EPREFIX offset

tests/emerge: install some files

tests/emerge: add some pkgs for depclean

doebuild_environment: include EPREFIX in ED

unmerge: never unmerge outside of EROOT

xml/metadata: implement XMLParser.doctype()

Avoid deprecation warnings again, like in commit
63035acd702ab0cdaac31e33676b5a20a91eae47.

Revert "xml/metadata: implement XMLParser.doctype()"

This reverts commit ce501b36d7078db059c606d3b4f38637ad09528e.
This commit had lots of unintended changes included.

xml/metadata: implement XMLParser.doctype()

Avoid deprecation warnings again, like in commit
63035acd702ab0cdaac31e33676b5a20a91eae47.

Fix deprecated Element.getchildren() call.

make.conf.5: bump date stamp

Add FEATURES=clean-logs support.

Enable automatic execution of the command specified by the
PORT_LOGDIR_CLEAN variable. The default PORT_LOGDIR_CLEAN setting will
remove all files from PORT_LOGDIR that were last modified at least 7
days ago.

repoman: enable dependency.unknown for blockers

This will fix bug #381087.

Respect package.env buildpkg FEATURES settings.

This will fix bug #318897.

doebuild: only check .unpacked for porttree

tests/emerge: remove unneeded default_args

Fix typo in previous commit.

env_update: use ldsoconf_update var

This fixes an unintended change in behavior from commit
a37eb8ebd2fad3f8074490a061f067e2c637f05d, so that the ldconfig call
will not be skipped when ld.so.conf has been updated (though ldconfig
is still never called when makelinks=False).

Tweak failure msgs in emerge/repoman tests.

Tweak PYTHONPATH check in emerge/repoman tests.

doebuild: check distfiles digests less often

If the unpack phase is not going to be executed as a dependency, then
we can simply skip the distfiles digest checks if the unpack phase is
already marked complete via $PORTAGE_BUILDDIR/.unpacked.

repoman: discard STDERR output from CVS.

Fixes: https://bugs.gentoo.org/show_bug.cgi?id=373669

tests/emerge: add USE for installed pkgs

dblink.treewalk: remove dowgrade check

This code is unused since commit
a37eb8ebd2fad3f8074490a061f067e2c637f05d.

Fix PORTDIR in emerge tests.

Mark some messages for translation.

env_update: always respect makelinks=False

This ensures that the env-update --no-ldconfig option is always
respected. Also, in order to preserve behavior during downgrades for
an env_update call in vartree.py, remove the makelinks=False for
downgrades since it wasn't respected anyway when lib path mtimes had
changed, and we don't want it to behave differently in this case now
that makelinks=False is always respected. Note that the unconditional
use of the ldconfig -X option (from bug #373341) since commit
e1347f9c0dd5ef5ff1a50d6b136b0648efb8a6ca may also come into play for
downgrades.

env_update: fix breakage in last commit

env_update: fix CHOST/CBUILD ldconfig code

This code never worked (since it was added in commit
751893b0272561eb9274110a474d5436a7d2bc76) due to a name collision
between the env argument and another variable with the same name.

Fix env interference in emerge/repoman tests.

emerge: add simple unit tests

These tests are similar to the repoman tests, using a
__PORTAGE_TEST_EPREFIX environment variable to make emerge confine
itself to a testing prefix so that things like install and uninstall
operations can be performed.

Send "Recording in world" msg to stdout.

ResolverPlayground: fix to make emerge happy

env_update: add minimal EPREFIX support

This takes EPREFIX from the env argument and uses it when joining all
paths. Also, ldconfig calls are disabled when EPREFIX is non-empty,
since it's inappropriate to update the global /etc/ld.so.cache in this
case.

python3.2 fixes: ResourceWarning: unclosed file

test_poll: fix "ResourceWarning: unclosed file"

Sort test cases, for predictable order.

spawnebuild: skip previously executed phases

This simply checks of $PORTAGE_BUILDDIR/.${EBUILD_PHASE%e}ed and skips
the phase like ebuild.sh would. It preserves a special case for the
install phase with FEATURES=noauto, so that dyn_install in ebuild.sh
continues to work the same for this case.. Also, note that commit
ae9b6cb513c7b29376caecf3b4e52aac452e2b93 preserves the automatic
"recreating WORKDIR" behavior that used to be implemented in
dyn_unpack.

doebuild: avoid redundant distfiles checks

When the unpack phase is already marked as complete, it's wasteful to
check distfiles digests. In order to avoid this, we have to migrate the
distfiles/workdir timestamp comparisons from ebuild.sh to doebuild.py,
so that doebuild always knows when unpack will be triggered. This also
allows us to eliminate code in dyn_unpack that duplicated dyn_clean,
actually call dyn_clean instead.

Fix possible NameError in finally block.

Fix "ResourceWarning: unclosed file" with Python 3.2.

Fix "ResourceWarning: unclosed file" with Python 3.2.

egencache: don't require xml in global scope

egencache: implement XMLParser.doctype()

This is prevents "DeprecationWarning: This method of XMLParser is
deprecated.  Define doctype() method on the TreeBuilder target."
warnings. The code is copied from repoman, commit
5a5e51a2737a0855bb562683f50c57cc31587460.

python3.2 fixes: ResourceWarning: unclosed file

Update --rebuild-if-* flags to rebuild when build dependencies are changed.

Right now, the --rebuild-if-* flags only rebuild packages that are used at
both run-time and build-time. This doesn't help for packages that are used
only at build-time (for example, static libaries).

Rebuilding packages whenever a build-time dependency is changed is easier to
understand and explain, and it handles all cases correctly.

BUG=chromium-os:15517
TEST=Run emerge test suite.

Change-Id: Iae8dab24e8acb6625bc1a0ce41862e90b232eb84

Fix EPREFIX/EROOT typo in repoman test.

python3.2 fixes: ResourceWarning: unclosed file

Add __test__ for repoman tests.

repoman: add a simple unit test

Add skipped test support (for python 2.6 compat)

Python supports skipped tests since 2.7, but we'll implement support
ourselves for python 2.6 compatibility. This is a simple extension of
the todo support that we have already implemented.

testLazyImport: fix PYTHONPATH setting

Add a copy of metadata.dtd, for repoman tests.

Since repoman uses metadata.dtd for metadata.xml checks, our sources
need to include a copy in order to test it.

python3.2 fixes: ResourceWarning: unclosed file

Enable -Wd for tests, so DeprecationWarning works

DeprecationWarning is suppressed by default since Python 2.7, so it's
a good idea to explicitly enable it for tests.

python3.2 fixes: ResourceWarning: unclosed file

TestCase: remove python 2.4 compat constructor

python3.2 fixes: ResourceWarning: unclosed file

Improve a comment.