tests/emerge: test binary packages and emaint

Use utf_8 encoding for merge when ascii is configured.

It probably won't hurt, and forced conversion to ascii encoding is
known to break some packages that install file names with utf_8
encoding (see bug #381509). The ascii aliases are borrowed from
python's encodings.aliases.aliases dict.

tests/emerge: enable arbitrary commands

This will allow us to throw in some test commands for various helpers
related to emerge (things like etc-update, dispatch-conf, quickpkg,
portageq, ebuild, and emaint).

Show merge list before "missed update" messages.

merge: start at correct EPREFIX offset

tests/emerge: install some files

tests/emerge: add some pkgs for depclean

doebuild_environment: include EPREFIX in ED

unmerge: never unmerge outside of EROOT

xml/metadata: implement XMLParser.doctype()

Avoid deprecation warnings again, like in commit
63035acd702ab0cdaac31e33676b5a20a91eae47.

Revert "xml/metadata: implement XMLParser.doctype()"

This reverts commit ce501b36d7078db059c606d3b4f38637ad09528e.
This commit had lots of unintended changes included.

xml/metadata: implement XMLParser.doctype()

Avoid deprecation warnings again, like in commit
63035acd702ab0cdaac31e33676b5a20a91eae47.

Fix deprecated Element.getchildren() call.

make.conf.5: bump date stamp

Add FEATURES=clean-logs support.

Enable automatic execution of the command specified by the
PORT_LOGDIR_CLEAN variable. The default PORT_LOGDIR_CLEAN setting will
remove all files from PORT_LOGDIR that were last modified at least 7
days ago.

repoman: enable dependency.unknown for blockers

This will fix bug #381087.

Respect package.env buildpkg FEATURES settings.

This will fix bug #318897.

doebuild: only check .unpacked for porttree

tests/emerge: remove unneeded default_args

Fix typo in previous commit.

env_update: use ldsoconf_update var

This fixes an unintended change in behavior from commit
a37eb8ebd2fad3f8074490a061f067e2c637f05d, so that the ldconfig call
will not be skipped when ld.so.conf has been updated (though ldconfig
is still never called when makelinks=False).

Tweak failure msgs in emerge/repoman tests.

Tweak PYTHONPATH check in emerge/repoman tests.

doebuild: check distfiles digests less often

If the unpack phase is not going to be executed as a dependency, then
we can simply skip the distfiles digest checks if the unpack phase is
already marked complete via $PORTAGE_BUILDDIR/.unpacked.

repoman: discard STDERR output from CVS.

Fixes: https://bugs.gentoo.org/show_bug.cgi?id=373669

tests/emerge: add USE for installed pkgs

dblink.treewalk: remove dowgrade check

This code is unused since commit
a37eb8ebd2fad3f8074490a061f067e2c637f05d.

Fix PORTDIR in emerge tests.

Mark some messages for translation.

env_update: always respect makelinks=False

This ensures that the env-update --no-ldconfig option is always
respected. Also, in order to preserve behavior during downgrades for
an env_update call in vartree.py, remove the makelinks=False for
downgrades since it wasn't respected anyway when lib path mtimes had
changed, and we don't want it to behave differently in this case now
that makelinks=False is always respected. Note that the unconditional
use of the ldconfig -X option (from bug #373341) since commit
e1347f9c0dd5ef5ff1a50d6b136b0648efb8a6ca may also come into play for
downgrades.

env_update: fix breakage in last commit

env_update: fix CHOST/CBUILD ldconfig code

This code never worked (since it was added in commit
751893b0272561eb9274110a474d5436a7d2bc76) due to a name collision
between the env argument and another variable with the same name.

Fix env interference in emerge/repoman tests.

emerge: add simple unit tests

These tests are similar to the repoman tests, using a
__PORTAGE_TEST_EPREFIX environment variable to make emerge confine
itself to a testing prefix so that things like install and uninstall
operations can be performed.

Send "Recording in world" msg to stdout.

ResolverPlayground: fix to make emerge happy

env_update: add minimal EPREFIX support

This takes EPREFIX from the env argument and uses it when joining all
paths. Also, ldconfig calls are disabled when EPREFIX is non-empty,
since it's inappropriate to update the global /etc/ld.so.cache in this
case.

python3.2 fixes: ResourceWarning: unclosed file

test_poll: fix "ResourceWarning: unclosed file"

Sort test cases, for predictable order.

spawnebuild: skip previously executed phases

This simply checks of $PORTAGE_BUILDDIR/.${EBUILD_PHASE%e}ed and skips
the phase like ebuild.sh would. It preserves a special case for the
install phase with FEATURES=noauto, so that dyn_install in ebuild.sh
continues to work the same for this case.. Also, note that commit
ae9b6cb513c7b29376caecf3b4e52aac452e2b93 preserves the automatic
"recreating WORKDIR" behavior that used to be implemented in
dyn_unpack.

doebuild: avoid redundant distfiles checks

When the unpack phase is already marked as complete, it's wasteful to
check distfiles digests. In order to avoid this, we have to migrate the
distfiles/workdir timestamp comparisons from ebuild.sh to doebuild.py,
so that doebuild always knows when unpack will be triggered. This also
allows us to eliminate code in dyn_unpack that duplicated dyn_clean,
actually call dyn_clean instead.

Fix possible NameError in finally block.

Fix "ResourceWarning: unclosed file" with Python 3.2.

Fix "ResourceWarning: unclosed file" with Python 3.2.

egencache: don't require xml in global scope

egencache: implement XMLParser.doctype()

This is prevents "DeprecationWarning: This method of XMLParser is
deprecated.  Define doctype() method on the TreeBuilder target."
warnings. The code is copied from repoman, commit
5a5e51a2737a0855bb562683f50c57cc31587460.

python3.2 fixes: ResourceWarning: unclosed file

Update --rebuild-if-* flags to rebuild when build dependencies are changed.

Right now, the --rebuild-if-* flags only rebuild packages that are used at
both run-time and build-time. This doesn't help for packages that are used
only at build-time (for example, static libaries).

Rebuilding packages whenever a build-time dependency is changed is easier to
understand and explain, and it handles all cases correctly.

BUG=chromium-os:15517
TEST=Run emerge test suite.

Change-Id: Iae8dab24e8acb6625bc1a0ce41862e90b232eb84

Fix EPREFIX/EROOT typo in repoman test.

python3.2 fixes: ResourceWarning: unclosed file

Add __test__ for repoman tests.

repoman: add a simple unit test

Add skipped test support (for python 2.6 compat)

Python supports skipped tests since 2.7, but we'll implement support
ourselves for python 2.6 compatibility. This is a simple extension of
the todo support that we have already implemented.

testLazyImport: fix PYTHONPATH setting

Add a copy of metadata.dtd, for repoman tests.

Since repoman uses metadata.dtd for metadata.xml checks, our sources
need to include a copy in order to test it.

python3.2 fixes: ResourceWarning: unclosed file

Enable -Wd for tests, so DeprecationWarning works

DeprecationWarning is suppressed by default since Python 2.7, so it's
a good idea to explicitly enable it for tests.

python3.2 fixes: ResourceWarning: unclosed file

TestCase: remove python 2.4 compat constructor

python3.2 fixes: ResourceWarning: unclosed file

Improve a comment.

Add some comments, which will allow to easier find code, which should be
removed when support for older versions of Python is removed.

die: defer die hooks for EAPI 4 helpers_die

This will fix bug #380625.

python3.2 fixes: ResourceWarning: unclosed file

python3.2 fixes: use array.tobytes()

python3.2 fixes: ResourceWarning: unclosed file

ElementTree: use iter if available (bug #380565)

SafeConfigParser: renamed to ConfigParser in 3.2

make.conf.5: document EMERGE_WARNING_DELAY

dosym: QA warn if target is existing dir

dosym: QA warn if basename omitted (bug #379899)

ebuild(1): show merge/noauto msg only if needed

Improve the invalid profile msg (bug 379327).

emerge --search: account for USE in fetch size

egencache: add --portdir-overlay option

This will fix bug #353648.

config: blacklist vars loaded from profile.env

config: blacklist GREP_OPTIONS variable

This variable could cause interference with the ebuild environment and
portage shell code, like in bug 370085.

repoman: tweak --if-modified help output

repoman: warn when --if-modified finds nothing

Fix log uid for logrotate-3.8 compat (bug 378451)

If PORT_LOGDIR is writable by the portage group but its uid is not
portage_uid, then set the uid to portage_uid if we have privileges to
do so, and also copy the uid to the logfile. This fixes logrotate
chown failures during the compression phase, when it attempts to copy
the uid from the logfile to a temp file. With the "su portage portage"
directive and logrotate-3.8.0, logrotate's chown call during the
compression phase will only succeed if the log file's uid is
portage_uid.

resume_depgraph: prune all indirect unsatisfied

This should fix some cases of bug 378187.

repoman: add --if-modified option to check less

This is useful if you want to do a repo-level or category-level commit
but you only want to run checks for the packages that have uncommitted
modifications.

repoman: check more helper calls for $D, $ED...

This adds docinto, docompress, fowners and fperms to the
variable.usedwithhelpers check. Notably absent is dosed since that
supports mixed input. This will fix bug #377303.

Package: remove unused profile.system mask type

Remove "profile" mask support as per PMS 5.2.7.

Since this is considered a "legacy" feature by PMS 5.2.7, there
shouldn't be any need to support it anymore. Profiles can use
package.mask to get similar results, and package.mask additionally
allows for comments which are conveniently displayed by emerge. This
will fix bug #377907.

_check_temp_dir: check for 'portage' symlink

This will fix bug #378403.

fetch: handle non-essential statvfs failure

unmerge: remove more info dir files for #323213

Treat any directory named "info" as a candidate here, since it might
have been in INFOPATH previously even though it may not be there now.

portageq: fix short help display for leading \n

unmerge: remove generated info "dir" files

These files are generated by emerge, so we need to remove them
when they are the only thing left in the directory. This will fix
bug #323213.

action_info: don't mix print with writemsg_stdout

This should prevent strange output buffering/order issues reported when
piping output to head.

portageq best_visible: support optional pkgtype

Scheduler: fix parallel-fetch order with --jobs=1

This avoids a case where the first prefetcher is discarded, causing
the second prefetcher to occupy the fetch queue before the first
fetcher has an opportunity to execute.

unpack: remove backward compat for bug #376741

This case is extremely rare, since the most common practice is to
unpack source files that are already in the cwd. The only Gentoo
packages that needed to be fixed were games-arcade/tuxpuck and
www-plugins/google-talkplugin.

unmerge: display preserved syms in ascending ord

unpack: always unpack to cwd (bug #376741)

This brings portage into agreement with PMS. Also, for existing EAPIs,
if the source file is in a writable directory then this will create a
symlink for backward-compatible emulation of tools like gunzip and
bunzip2.

depgraph: fix duplicate zero pkg count display

unmerge: unmerge symlinks broken by rmdir

This prevents some more false alarms from commit
4bb08136f073024c5d31dceb1618b6f4e7246369.

post_emerge: just return instead of sys.exit()