emerge: support post_emerge hook like post_sync

This will fix bug #355447.

egencache: fix cmp_func for python3

unmerge: don't show null/ cat in unmatched atoms

This will fix bug #269534.

BinpkgVerifier: disable color in background mode

mail: handle unicode in subject more for python3

mail: handle unicode in subject for python3

ResolverDepthTestCase: test --selective more

emerge --sync: display message when cvs fails

Update date headers for modified files.

depgraph: fix virtual code to handle unsatisfied

depgraph: --deep=0 is equivalent to no deep param

depgraph: --nodeps overrides --complete-graph

Recognize git-2.eclass when reinstalling self.

Recognize git-2.eclass as a live eclass.

depgraph: fix KeyError in select_atoms

This happens if depstring evaluates to nothing.

get_dep_chain: fix broken parent_arg reference

Broken since commit b4f98ec5a1eb2e010a455b19db5bef8d61def241.

depgraph: normalize indentation

depgraph: ignore fewer deps

This restores some desired logic that was left out of commit
5655b4dcfe5e9dae5e9d6352d791c3d04953baf7.

depgraph: remove redundant "empty" param checks

Since commit 878f166c5a06b0ab6c5a34dd658c878cc7605fe7, empty implies
deep = True, so these checks are redundant.

depgraph: --nodeps overrides --deep

get_dep_chain: fix unsatisfied_dependency logic

Always prefer parents for which the parent atom is unsatisfied by the
child node. This seems to be the intention of the code, though it may
not have behaved correctly due to continuation of the parent loop.

Fix unhandled FileNotFound from previous commit.

There is an existing handler for EnvironmentError, so raise that
instead of FileNotFound.

Add support for grabbing Packages files using external programs.

If the user specifies FETCHCOMMAND_*, Portage should honor this when grabbing
Packages files. This allows users to setup support for grabbing Packages files
from other protocols.

BUG=chrome-os-partner:2026
TEST=Try downloading prebuilts from gs:// when FETCHCOMMAND_GS is setup in make.conf

Change-Id: I96b239819351633dd02d608954e81a1c363a4687

Review URL: http://codereview.chromium.org/6458015

get_dep_chain: prefer parents in merge list

This will fix bug #354747.

ResolverDepthTestCase: add more cases

egencache: --preserve-comments allow missing file

This will fix bug #354687.

depgraph: fix and test depth control for virtuals

ResolverDepthTestCase: test new-style virtuals

ResolverDepthTestCase: add more cases

depgraph: tweak depth calculation for virtuals

Recursively traversed virtual dependencies, and their direct
dependencies, are considered to have the same depth as direct
dependencies.

depgraph: fix and test --deep control of depth

Control over recursion depth hasn't behaved properly since commit
6503980e0e3bcfce9fbaff85c33d87f616e955a9. Now it is fixed and tested.

depgraph: make empty param imply deep = True

This won't change the existing depgraph behavior, but it will allow
logic to be simplified in some cases such that solely the deep param
needs to be consulted (rather than needing to consult both empty and
deep params).

ebuild.1: update outdated BUILD_PREFIX docs

This will fix bug #354387.

egencache: don't ignore as much with --tolerant

Errors returned from --update-use-local-desc and --update-changelogs
are no longer ignored with --tolerant. This will fix part of
bug #354687.

repoman: variable.usedwithhelpers ignore comments

This will fix bug #354685.

depgraph: avoid atom hash collisions in dep_check

Atoms are stored in the graph as (atom, id(atom)) tuples since each
atom is considered to be a unique entity. For example, atoms that
appear identical may behave differently in USE matching, depending on
their unevaluated form. Also, specially generated virtual atoms may
appear identical while having different _orig_atom attributes.

depgraph: return virtual edges from select_atoms

emerge.1: cross-ref --newuse and --changed-use

This will fix bug #354437.

depgraph: don't distort edges for virtuals

In _add_pkg_dep_string(), _add_pkg() was called with generated
Dependency instances that created fake/distorted edges in the
graph for new-style virtuals (similar to those that were fixed
in commit 5b16e0d800f34dc90cdd8c505172ad16b97f0af4). Now there
won't be any such distorted edges.

depgraph: fix distorted display of virtuals

As mentioned in bug #353933, comment #4, special new-style virtual
atoms generated/distorted by _expand_new_virtuals() can prevent
extract_affecting_use() from working properly. This is fixed by
saving the original atoms so that the depgraph can map them back
into place at the appropriate step in dependency evaluation.

depgraph: avoid reinstall of identical binpkg

This will fix bug #354441.

emerge.1: update date in header

emerge.1: clarify docs for package arguments

This will fix bug #354137.

emerge: support ../ path arguments

This will fix bug #354141.

expand_new_virtuals: fix pkg_use_enabled call

AttributeError: 'tuple' object has no attribute 'use'

repoman.herdbase: tolerate expat ImportError

We tolerate global scope import failures for optional modules, so that
ImportModulesTestCase can succeed (or possibly alert us about
unexpected import failures).

portage.debug: handle threading ImportError

test_import_modules: exempt repoman.herdbase

The repoman.herdbase module requires python with xml support.

cache.ebuild_xattr: don't import ENODATA globally

ENODATA is undefined on FreeBSD. This will fix bug #354057.

expand_new_virtuals: handle None for myuse

expand_new_virtuals: fix last commit USE handling

Update dates in headers.

paren_reduce: allow parens in atoms, for EAPI 4

This will fix bug #354003.

ebuild.5: fix spelling of "defaults"

expand_new_virtuals: fix logic from prev commit

We need to evaluate conditionals for dependency matching purposes,
though the unevaluated atom will still be available later for other
purposes.

expand_new_virtuals: save atom unevaluated use

This leads to a better unsatisfied USE message than the one reported
in bug 353933, comment #3. TODO: Fix it so that these generated
atoms don't break depgraph._get_dep_chain(), due to not being
identical to the original atoms and therefore breaking
extract_affecting_use().

cache.sqlite: handle sqlite ImportError

This will fix bug #353836.

default_src_test: handle EAPI 4 emake failure

This will fix bug #353897.

get_dep_chain: add "set" node type

Revert "parse_metadata_use(): omit empty text tokens."

This reverts commit 52f6b55d51e2accaa446bc5d6920421959289baa.

Since split() never return empty tokens, this patch does nothing.

check_required_use: remove obsolete hunk

REQUIRED_USE: fix parens display and test more

REQUIRED_USE: fix single child conditionals disp

check_required_use: clarify operator logic

REQUIRED_USE: fix parens display and test more

depgraph: make downgrades trigger complete graph

It's common for downgrades to break dependencies, as in bug #353613, so
automatically trigger complete graph mode when a downgrade is found.

ebuild(1): skip REQUIRED_USE for some phases

ebuild(1): ensure REQUIRED_USE is satisfied

depgraph: don't drop deps in _add_dep

This will fix bug #353613. We remove a hunk of code that was meant
to limit recursion, but is obsolete an buggy. The recursion limiting
is now handled by _add_pkg and the _ignored_deps stack.

Remove from list by index, not search.

REQUIRED_USE: more display tests

REQUIRED_USE: fix parens display and test more

parse_metadata_use(): omit empty text tokens.

REQUIRED_USE: fix parens display and test

REQUIRED_USE: display unsatisfied part

This will fix bug #353234.

action_uninstall: allow repo with wildcard atom

bintree: cleanup/fix old binhost code more

depgraph: use catsplit where appropriate

bintree: clean up dict use in old binhost code

bintree: add missing del from previous commit

bintree: remove unused __remotepkgs

depgraph: remove obsolete gpg exception handlers

depgraph: skip backtrack for fatal errors

depgraph: rm obsolete AmbguousPackageName handler

repoman.1: new variable.usedwithhelpers check

REQUIRED_USE: no autounmask, so skip backtracking

REQUIRED_USE: handle unsatisfied like normal dep

Fix grammar in a comment.

REQUIRED_USE: add blank line after display

Make || choices independent of REQUIRED_USE.

_get_dep_chain: allow SetArg for first node

Show "missed update" message for REQUIRED_USE.

This will fix bug #353443.

portage.5: update date in header

portage.5: document /etc/portage/license_groups

doebuild: always return success for listonly mode

This compensates for changed fetch() return value in commit
394cd4a00d37fd078f8dd40f89f8c810355d7816, which serves to
trigger the pkg_nofetch phase inside doebuild().

_exec: use default SIGINT/TERM handlers

Avoid issues like bug #353239.

_MergeProcess: use default SIGINT/TERM handlers

Signal handlers inherited from the parent process are irrelevant here.

EbuildFetcher: use default SIGINT/TERM handlers

This seems to fix bug #353239.

emerge: spawn nofetch for --pretend --fetch

This is part of bug 353334.

depgraph: display 'searching for similar names'

It can take few seconds to search, so display a status message.