CompositeTask: handle unstarted terminated tasks

CompositeTask: fix assertion in _wait

AsynchronousTask: always call wait() if cancelled

This is needed in order to ensure that exit listeners are called.
Subclasses call the base class cancel() method in order to inherit the
wait() call.

Scheduler: terminate _merge_wait_queue

iter_owners: try the hashed approach in any case

Previously, the slow approach was used whenever more than 10 files were
given as input. However, large numbers of files don't necessarily
mean the hashed approach is a bad choice, so try it in any case.

slot_conflict: tweak message and fix grammar

emerge: support [ y | n ] for --quiet

This allows --quiet and --quiet-build to be enabled via
EMERGE_DEFAULT_OPTS, and then temporarily disabled via the command-
line.

Update timestamps in headers of modified files.

Scheduler: fix AttributeError in _terminate_tasks

Thanks to David James <davidjames@google.com> for reporting this error:
AttributeError: 'EbuildPhase' object has no attribute 'merge'

Make all temp dirs under $PORTAGE_TMPDIR/portage.

Before, some temporary directories would be created directly in
$PORTAGE_TMPDIR. Now, all are subdirectories of $PORTAGE_TMPDIR/portage
since it's common for people to assume that this is the case anyway.
With the default PORTAGE_TMPDIR setting of /var/tmp, this allows
/var/tmp to be mounted with the "noexec" option, as long as the
/var/tmp/portage subdirectory is a separate mount (people have already
tended to assume that they can do this, so we're making it a reality
in order to avoid any more bug reports). This will fix bug #346899.

PollScheduler: tweek termination logic

* PollScheduler and all subclasses now use the _terminated_tasks
  variable to check whether or not _terminate_tasks() has been called,
  and behave appropriately in that case.

* The _schedule_tasks() method now has documentation about the
  relationship with _terminate_tasks() and _terminated_tasks.

PollScheduler: call _terminate_tasks in _schedule

This prevents it from being called while the _schedule_tasks()
implementation is running, in order to avoid potential interference.

Scheduler: avoid infinite loop after CTRL-C

If CTRL-C was received at certain times, it was possible for discarded
tasks to be erroneously left in Scheduler._running_tasks, which would
cause the main loop to run infinitely. Thanks to David James
<davidjames@google.com> for reporting this issue and helping to devise
a solution.

ebuild-ipc: use plain file read instead of array

Array.fromfile() seems to be more error prone. For example, see
bug 337465.

AbstractPollTask: log exceptional events

Previously, when AbstractPollTask receives a POLLERR or POLLNVAL event,
it would silently cancel the task. Now it will generate a message like
this:

   !!! SpawnProcess received strange poll event: 8

The message is displayed via a new _log_poll_exception method, which
is overridden by AbstractEbuildProcess to log the message via elog.

This might help diagnose reported cases of SIGTERM signals killing
ebuild processes for no apparent reason:

   http://code.google.com/p/chromium-os/issues/detail?id=12968

unmerge: use vardbapi._dblink() to simplify

The dblink constructor is complex and best avoided.

Bug #357009: Disallow uninstallation of currently used Python interpreter.

portdbapi: source ebuilds when eclass dir missing

This will fix bug #357581.

eclass_cache: remove deprecated methods

config: quote overlays containing spaces

This will fix bug #357297.

Remove redundant CONTENTS parent dir generation.

This code is redunant now, since similar code has been added to
dblink.getcontents() in commit
e0b4048274b2cfc1617f2eff379cbe8435e13ed4.

dblink.getcontents(): generate parent directories

We can't necessarily assume that they are explicitly listed in
CONTENTS, and they are crucial for callers such as dblink.isowner().

grablines: allow inline comments

grabdict: allow inline comments

depgraph: don't output \b to non-tty

This will fix bug #357093.

dodoc: update copyright date

ebuild(1): fix ebuild modification check

This has been broken since the setcpv call (triggering metadata
generation) was added before it in commit
0b39d24bb8270e5c89eaddfd1f5a4181cf9e31d3.

action_deselect: expand cat against world atoms

unmerge: log pre/postrm FAILED messages

owners_cache: fix EPREFIX miscalculation

This reverts commit 43e0b3ea4289aab9b4258d29d06afac40abd6c01 and
renames the root_len variable to eroot_len (for clarity).

owners_cache: add parent dirs deeper than EPREFIX

unmerge: implicitly unmerge parent directories

We can't necessarily assume that they are explicitly listed in
CONTENTS.

owners_cache: implicitly add parent directories

We can't necessarily assume that they are explicitly listed in
CONTENTS.

repoman: variable.usedwithhelpers ignore quoted

ebuild(1): apply package.env earlier

This makes it possible to override PORTAGE_TMPDIR.

depgraph: case insensitive search for unsatisfied

This will fix bug #356555.

repoman: warn about calls to prepall and preplib

Run tests with Python 3.3.

repoman: add back portage.internal check

This check got removed for bug #262365, but now that EAPI 4 is released
we can add it back. Now it checks for ecompress/ecompressdir too (for
bug #218347).

doins: fix dodoc directory error handling

doins: avoid die when called as dodoc with no arg

dodoc: call doins, to reuse recursion code

This will fix broken recursion logic for bug #356461.

dodoc: quote ${0}

dodoc: Honour exit status of install, bug 356389.

action_sync: handle IPv6 [ip] in SYNC some more

This will fix bug #356375 some more.

action_sync: handle IPv6 [ip] in SYNC

This will fix bug #356375.

emerge: mention revdep-rebuild in depclean help

show_depclean_suggestion: use ewarn, not einfo

chk_updated_cfg_files: don't display ._cfg0000_

Update date headers in modified files.

chk_updated_cfg_files: fix plurality of message

This will fix bug #355803.

emerge.1: fix arg description more for bug 354137

post_emerge: suggest depclean after world update

This is part of bug #354787.

post_emerge: pass in more info

This makes it possible to do things like give special suggestions after
world updates.

ebuild.sh: remove unused PWORKDIR variable

SubProcess: notify exit listeners in _poll

Scheduler: ensure _prefetchers is cleared

Update date headers in modified files.

repoman: variable.usedwithhelpers tighten regex

This will fix bug #355621.

_eapi4_src_install: handle empty DOCS like PMS

This will fix bug #355635.

check_required_use: improve missing IUSE error

This will fix bug #355629.

docompress, prepcompress: Add missing quotes.

emerge: fix --sync cvs error message

emerge: warn to stderr if post_* hooks fail

emerge: support post_emerge hook like post_sync

This will fix bug #355447.

egencache: fix cmp_func for python3

unmerge: don't show null/ cat in unmatched atoms

This will fix bug #269534.

BinpkgVerifier: disable color in background mode

mail: handle unicode in subject more for python3

mail: handle unicode in subject for python3

ResolverDepthTestCase: test --selective more

emerge --sync: display message when cvs fails

Update date headers for modified files.

depgraph: fix virtual code to handle unsatisfied

depgraph: --deep=0 is equivalent to no deep param

depgraph: --nodeps overrides --complete-graph

Recognize git-2.eclass when reinstalling self.

Recognize git-2.eclass as a live eclass.

depgraph: fix KeyError in select_atoms

This happens if depstring evaluates to nothing.

get_dep_chain: fix broken parent_arg reference

Broken since commit b4f98ec5a1eb2e010a455b19db5bef8d61def241.

depgraph: normalize indentation

depgraph: ignore fewer deps

This restores some desired logic that was left out of commit
5655b4dcfe5e9dae5e9d6352d791c3d04953baf7.

depgraph: remove redundant "empty" param checks

Since commit 878f166c5a06b0ab6c5a34dd658c878cc7605fe7, empty implies
deep = True, so these checks are redundant.

depgraph: --nodeps overrides --deep

get_dep_chain: fix unsatisfied_dependency logic

Always prefer parents for which the parent atom is unsatisfied by the
child node. This seems to be the intention of the code, though it may
not have behaved correctly due to continuation of the parent loop.

Fix unhandled FileNotFound from previous commit.

There is an existing handler for EnvironmentError, so raise that
instead of FileNotFound.

Add support for grabbing Packages files using external programs.

If the user specifies FETCHCOMMAND_*, Portage should honor this when grabbing
Packages files. This allows users to setup support for grabbing Packages files
from other protocols.

BUG=chrome-os-partner:2026
TEST=Try downloading prebuilts from gs:// when FETCHCOMMAND_GS is setup in make.conf

Change-Id: I96b239819351633dd02d608954e81a1c363a4687

Review URL: http://codereview.chromium.org/6458015

get_dep_chain: prefer parents in merge list

This will fix bug #354747.

ResolverDepthTestCase: add more cases

egencache: --preserve-comments allow missing file

This will fix bug #354687.

depgraph: fix and test depth control for virtuals

ResolverDepthTestCase: test new-style virtuals

ResolverDepthTestCase: add more cases

depgraph: tweak depth calculation for virtuals

Recursively traversed virtual dependencies, and their direct
dependencies, are considered to have the same depth as direct
dependencies.

depgraph: fix and test --deep control of depth

Control over recursion depth hasn't behaved properly since commit
6503980e0e3bcfce9fbaff85c33d87f616e955a9. Now it is fixed and tested.

depgraph: make empty param imply deep = True

This won't change the existing depgraph behavior, but it will allow
logic to be simplified in some cases such that solely the deep param
needs to be consulted (rather than needing to consult both empty and
deep params).

ebuild.1: update outdated BUILD_PREFIX docs

This will fix bug #354387.

egencache: don't ignore as much with --tolerant

Errors returned from --update-use-local-desc and --update-changelogs
are no longer ignored with --tolerant. This will fix part of
bug #354687.

repoman: variable.usedwithhelpers ignore comments

This will fix bug #354685.

depgraph: avoid atom hash collisions in dep_check

Atoms are stored in the graph as (atom, id(atom)) tuples since each
atom is considered to be a unique entity. For example, atoms that
appear identical may behave differently in USE matching, depending on
their unevaluated form. Also, specially generated virtual atoms may
appear identical while having different _orig_atom attributes.