Fix unhandled FileNotFound from previous commit.

There is an existing handler for EnvironmentError, so raise that
instead of FileNotFound.

Add support for grabbing Packages files using external programs.

If the user specifies FETCHCOMMAND_*, Portage should honor this when grabbing
Packages files. This allows users to setup support for grabbing Packages files
from other protocols.

BUG=chrome-os-partner:2026
TEST=Try downloading prebuilts from gs:// when FETCHCOMMAND_GS is setup in make.conf

Change-Id: I96b239819351633dd02d608954e81a1c363a4687

Review URL: http://codereview.chromium.org/6458015

get_dep_chain: prefer parents in merge list

This will fix bug #354747.

ResolverDepthTestCase: add more cases

egencache: --preserve-comments allow missing file

This will fix bug #354687.

depgraph: fix and test depth control for virtuals

ResolverDepthTestCase: test new-style virtuals

ResolverDepthTestCase: add more cases

depgraph: tweak depth calculation for virtuals

Recursively traversed virtual dependencies, and their direct
dependencies, are considered to have the same depth as direct
dependencies.

depgraph: fix and test --deep control of depth

Control over recursion depth hasn't behaved properly since commit
6503980e0e3bcfce9fbaff85c33d87f616e955a9. Now it is fixed and tested.

depgraph: make empty param imply deep = True

This won't change the existing depgraph behavior, but it will allow
logic to be simplified in some cases such that solely the deep param
needs to be consulted (rather than needing to consult both empty and
deep params).

ebuild.1: update outdated BUILD_PREFIX docs

This will fix bug #354387.

egencache: don't ignore as much with --tolerant

Errors returned from --update-use-local-desc and --update-changelogs
are no longer ignored with --tolerant. This will fix part of
bug #354687.

repoman: variable.usedwithhelpers ignore comments

This will fix bug #354685.

depgraph: avoid atom hash collisions in dep_check

Atoms are stored in the graph as (atom, id(atom)) tuples since each
atom is considered to be a unique entity. For example, atoms that
appear identical may behave differently in USE matching, depending on
their unevaluated form. Also, specially generated virtual atoms may
appear identical while having different _orig_atom attributes.

depgraph: return virtual edges from select_atoms

emerge.1: cross-ref --newuse and --changed-use

This will fix bug #354437.

depgraph: don't distort edges for virtuals

In _add_pkg_dep_string(), _add_pkg() was called with generated
Dependency instances that created fake/distorted edges in the
graph for new-style virtuals (similar to those that were fixed
in commit 5b16e0d800f34dc90cdd8c505172ad16b97f0af4). Now there
won't be any such distorted edges.

depgraph: fix distorted display of virtuals

As mentioned in bug #353933, comment #4, special new-style virtual
atoms generated/distorted by _expand_new_virtuals() can prevent
extract_affecting_use() from working properly. This is fixed by
saving the original atoms so that the depgraph can map them back
into place at the appropriate step in dependency evaluation.

depgraph: avoid reinstall of identical binpkg

This will fix bug #354441.

emerge.1: update date in header

emerge.1: clarify docs for package arguments

This will fix bug #354137.

emerge: support ../ path arguments

This will fix bug #354141.

expand_new_virtuals: fix pkg_use_enabled call

AttributeError: 'tuple' object has no attribute 'use'

repoman.herdbase: tolerate expat ImportError

We tolerate global scope import failures for optional modules, so that
ImportModulesTestCase can succeed (or possibly alert us about
unexpected import failures).

portage.debug: handle threading ImportError

test_import_modules: exempt repoman.herdbase

The repoman.herdbase module requires python with xml support.

cache.ebuild_xattr: don't import ENODATA globally

ENODATA is undefined on FreeBSD. This will fix bug #354057.

expand_new_virtuals: handle None for myuse

expand_new_virtuals: fix last commit USE handling

Update dates in headers.

paren_reduce: allow parens in atoms, for EAPI 4

This will fix bug #354003.

ebuild.5: fix spelling of "defaults"

expand_new_virtuals: fix logic from prev commit

We need to evaluate conditionals for dependency matching purposes,
though the unevaluated atom will still be available later for other
purposes.

expand_new_virtuals: save atom unevaluated use

This leads to a better unsatisfied USE message than the one reported
in bug 353933, comment #3. TODO: Fix it so that these generated
atoms don't break depgraph._get_dep_chain(), due to not being
identical to the original atoms and therefore breaking
extract_affecting_use().

cache.sqlite: handle sqlite ImportError

This will fix bug #353836.

default_src_test: handle EAPI 4 emake failure

This will fix bug #353897.

get_dep_chain: add "set" node type

Revert "parse_metadata_use(): omit empty text tokens."

This reverts commit 52f6b55d51e2accaa446bc5d6920421959289baa.

Since split() never return empty tokens, this patch does nothing.

check_required_use: remove obsolete hunk

REQUIRED_USE: fix parens display and test more

REQUIRED_USE: fix single child conditionals disp

check_required_use: clarify operator logic

REQUIRED_USE: fix parens display and test more

depgraph: make downgrades trigger complete graph

It's common for downgrades to break dependencies, as in bug #353613, so
automatically trigger complete graph mode when a downgrade is found.

ebuild(1): skip REQUIRED_USE for some phases

ebuild(1): ensure REQUIRED_USE is satisfied

depgraph: don't drop deps in _add_dep

This will fix bug #353613. We remove a hunk of code that was meant
to limit recursion, but is obsolete an buggy. The recursion limiting
is now handled by _add_pkg and the _ignored_deps stack.

Remove from list by index, not search.

REQUIRED_USE: more display tests

REQUIRED_USE: fix parens display and test more

parse_metadata_use(): omit empty text tokens.

REQUIRED_USE: fix parens display and test

REQUIRED_USE: display unsatisfied part

This will fix bug #353234.

action_uninstall: allow repo with wildcard atom

bintree: cleanup/fix old binhost code more

depgraph: use catsplit where appropriate

bintree: clean up dict use in old binhost code

bintree: add missing del from previous commit

bintree: remove unused __remotepkgs

depgraph: remove obsolete gpg exception handlers

depgraph: skip backtrack for fatal errors

depgraph: rm obsolete AmbguousPackageName handler

repoman.1: new variable.usedwithhelpers check

REQUIRED_USE: no autounmask, so skip backtracking

REQUIRED_USE: handle unsatisfied like normal dep

Fix grammar in a comment.

REQUIRED_USE: add blank line after display

Make || choices independent of REQUIRED_USE.

_get_dep_chain: allow SetArg for first node

Show "missed update" message for REQUIRED_USE.

This will fix bug #353443.

portage.5: update date in header

portage.5: document /etc/portage/license_groups

doebuild: always return success for listonly mode

This compensates for changed fetch() return value in commit
394cd4a00d37fd078f8dd40f89f8c810355d7816, which serves to
trigger the pkg_nofetch phase inside doebuild().

_exec: use default SIGINT/TERM handlers

Avoid issues like bug #353239.

_MergeProcess: use default SIGINT/TERM handlers

Signal handlers inherited from the parent process are irrelevant here.

EbuildFetcher: use default SIGINT/TERM handlers

This seems to fix bug #353239.

emerge: spawn nofetch for --pretend --fetch

This is part of bug 353334.

depgraph: display 'searching for similar names'

It can take few seconds to search, so display a status message.

Print near matches for cmd line atoms without matching ebuild

ImportModulesTestCase: use iterator, not list

EbuildBuild: spawn nofetch for fetchonly

Fix a typo in a comment.

Allow relative paths (starting with ./) on the cmd line

bug 352208

slot collision suggestions: Avoid showing redundant suggestions.

http://forums.gentoo.org/viewtopic-t-862257.html?sid=9ba8646a15044fe024a41154df351c6a

ebuild_xattr: lazily import xattr

test/lint/test_import_modules.py: Better error reporting and expected failures

die: include $EBUILD_PHASE in message

When a helper binary dies automatically in EAPI 4 and later, we don't
get a stack trace, so at least report the phase that failed.

isolated-functions.sh: fix syntax error for die

Fix die so that dump_trace is not called when the main script is a
helper binary. This prevents the following error message when a helper
dies automatically in EAPI 4:

isolated-functions.sh: line 61: p -=  : syntax error: operand expected (error token is "-=  ")

NoOffsetWithHelpers: fix invalid errors name

repoman: add check for using offset vars with helpers

New check: NoOffsetWithHelpers.  Checks whether helper functions, such as
dodir and insinto, are used with offset variables either referring to
the installation image (D, ED), the alternate root location (ROOT,
EROOT), or the offset prefix (EPREFIX).

bintree: warn for missing binhost TIMESTAMP

This seems to be the case that's triggered in bug 353189 and bug 350139.

Fix selinux import error handling.

Test import of all modules.

depgraph: fix get_dep_chain unicode handling

autounmask USE change comment: ensure that the first parent requires the change

Fixes bug 350515.

Show use conditionals in old style dep chains

binarytree: fix BASE_URI for old-style binhost

binarytree: fix broken BASE_URI initialization

make.conf.5: doc multi PORTAGE_BINHOST support