depgraph: remove redundant "empty" param checks

Since commit 878f166c5a06b0ab6c5a34dd658c878cc7605fe7, empty implies
deep = True, so these checks are redundant.

depgraph: --nodeps overrides --deep

get_dep_chain: fix unsatisfied_dependency logic

Always prefer parents for which the parent atom is unsatisfied by the
child node. This seems to be the intention of the code, though it may
not have behaved correctly due to continuation of the parent loop.

Fix unhandled FileNotFound from previous commit.

There is an existing handler for EnvironmentError, so raise that
instead of FileNotFound.

Add support for grabbing Packages files using external programs.

If the user specifies FETCHCOMMAND_*, Portage should honor this when grabbing
Packages files. This allows users to setup support for grabbing Packages files
from other protocols.

BUG=chrome-os-partner:2026
TEST=Try downloading prebuilts from gs:// when FETCHCOMMAND_GS is setup in make.conf

Change-Id: I96b239819351633dd02d608954e81a1c363a4687

Review URL: http://codereview.chromium.org/6458015

get_dep_chain: prefer parents in merge list

This will fix bug #354747.

Display: tweak output and docs for bug 58416

Now the masking display is disabled by the --quiet option if the
--verbose  option is not enabled simultaneously. Also, docs are
updated as per bug 58416, comment #11 and #12.

ResolverDepthTestCase: add more cases

egencache: --preserve-comments allow missing file

This will fix bug #354687.

depgraph: fix and test depth control for virtuals

ResolverDepthTestCase: test new-style virtuals

ResolverDepthTestCase: add more cases

depgraph: tweak depth calculation for virtuals

Recursively traversed virtual dependencies, and their direct
dependencies, are considered to have the same depth as direct
dependencies.

depgraph: fix and test --deep control of depth

Control over recursion depth hasn't behaved properly since commit
6503980e0e3bcfce9fbaff85c33d87f616e955a9. Now it is fixed and tested.

depgraph: make empty param imply deep = True

This won't change the existing depgraph behavior, but it will allow
logic to be simplified in some cases such that solely the deep param
needs to be consulted (rather than needing to consult both empty and
deep params).

ebuild.1: update outdated BUILD_PREFIX docs

This will fix bug #354387.

egencache: don't ignore as much with --tolerant

Errors returned from --update-use-local-desc and --update-changelogs
are no longer ignored with --tolerant. This will fix part of
bug #354687.

repoman: variable.usedwithhelpers ignore comments

This will fix bug #354685.

depgraph: avoid atom hash collisions in dep_check

Atoms are stored in the graph as (atom, id(atom)) tuples since each
atom is considered to be a unique entity. For example, atoms that
appear identical may behave differently in USE matching, depending on
their unevaluated form. Also, specially generated virtual atoms may
appear identical while having different _orig_atom attributes.

depgraph: return virtual edges from select_atoms

emerge.1: cross-ref --newuse and --changed-use

This will fix bug #354437.

depgraph: don't distort edges for virtuals

In _add_pkg_dep_string(), _add_pkg() was called with generated
Dependency instances that created fake/distorted edges in the
graph for new-style virtuals (similar to those that were fixed
in commit 5b16e0d800f34dc90cdd8c505172ad16b97f0af4). Now there
won't be any such distorted edges.

depgraph: fix distorted display of virtuals

As mentioned in bug #353933, comment #4, special new-style virtual
atoms generated/distorted by _expand_new_virtuals() can prevent
extract_affecting_use() from working properly. This is fixed by
saving the original atoms so that the depgraph can map them back
into place at the appropriate step in dependency evaluation.

depgraph: avoid reinstall of identical binpkg

This will fix bug #354441.

emerge.1: clarify docs for package arguments

This will fix bug #354137.

emerge: support ../ path arguments

This will fix bug #354141.

expand_new_virtuals: fix pkg_use_enabled call

AttributeError: 'tuple' object has no attribute 'use'

repoman.herdbase: tolerate expat ImportError

We tolerate global scope import failures for optional modules, so that
ImportModulesTestCase can succeed (or possibly alert us about
unexpected import failures).

portage.debug: handle threading ImportError

test_import_modules: exempt repoman.herdbase

The repoman.herdbase module requires python with xml support.

cache.ebuild_xattr: don't import ENODATA globally

ENODATA is undefined on FreeBSD. This will fix bug #354057.

expand_new_virtuals: handle None for myuse

expand_new_virtuals: fix last commit USE handling

Update dates in headers.

paren_reduce: allow parens in atoms, for EAPI 4

This will fix bug #354003.

ebuild.5: fix spelling of "defaults"

expand_new_virtuals: fix logic from prev commit

We need to evaluate conditionals for dependency matching purposes,
though the unevaluated atom will still be available later for other
purposes.

expand_new_virtuals: save atom unevaluated use

This leads to a better unsatisfied USE message than the one reported
in bug 353933, comment #3. TODO: Fix it so that these generated
atoms don't break depgraph._get_dep_chain(), due to not being
identical to the original atoms and therefore breaking
extract_affecting_use().

cache.sqlite: handle sqlite ImportError

This will fix bug #353836.

default_src_test: handle EAPI 4 emake failure

This will fix bug #353897.

backtrack_depgraph: get_best_run for last run

It's essential to feed back autounmask config changes, especially
USE changes, in order to make the last run as successful as possible.
This fixes a regression in the master branch, since commit
2186f87c22e0c4bdb86065855c2034bdbb66fa45.

get_dep_chain: add "set" node type

Revert "parse_metadata_use(): omit empty text tokens."

This reverts commit 52f6b55d51e2accaa446bc5d6920421959289baa.

Since split() never return empty tokens, this patch does nothing.

check_required_use: remove obsolete hunk

REQUIRED_USE: fix parens display and test more

REQUIRED_USE: fix single child conditionals disp

check_required_use: clarify operator logic

REQUIRED_USE: fix parens display and test more

depgraph: make downgrades trigger complete graph

It's common for downgrades to break dependencies, as in bug #353613, so
automatically trigger complete graph mode when a downgrade is found.

ebuild(1): skip REQUIRED_USE for some phases

ebuild(1): ensure REQUIRED_USE is satisfied

depgraph: don't drop deps in _add_dep

This will fix bug #353613. We remove a hunk of code that was meant
to limit recursion, but is obsolete an buggy. The recursion limiting
is now handled by _add_pkg and the _ignored_deps stack.

Remove from list by index, not search.

REQUIRED_USE: more display tests

REQUIRED_USE: fix parens display and test more

parse_metadata_use(): omit empty text tokens.

REQUIRED_USE: fix parens display and test

REQUIRED_USE: display unsatisfied part

This will fix bug #353234.

action_uninstall: allow repo with wildcard atom

bintree: cleanup/fix old binhost code more

depgraph: use catsplit where appropriate

bintree: clean up dict use in old binhost code

bintree: add missing del from previous commit

bintree: remove unused __remotepkgs

depgraph: remove obsolete gpg exception handlers

depgraph: skip backtrack for fatal errors

depgraph: rm obsolete AmbguousPackageName handler

repoman.1: new variable.usedwithhelpers check

REQUIRED_USE: no autounmask, so skip backtracking

REQUIRED_USE: handle unsatisfied like normal dep

emerge.1: update date in header

emerge.1: Document mask display for bug 58416.

Fix grammar in a comment.

Display: simplify alignment for mask status

REQUIRED_USE: add blank line after display

Make || choices independent of REQUIRED_USE.

_get_dep_chain: allow SetArg for first node

Show "missed update" message for REQUIRED_USE.

This will fix bug #353443.

portage.5: update date in header

portage.5: document /etc/portage/license_groups

doebuild: always return success for listonly mode

This compensates for changed fetch() return value in commit
394cd4a00d37fd078f8dd40f89f8c810355d7816, which serves to
trigger the pkg_nofetch phase inside doebuild().

_exec: use default SIGINT/TERM handlers

Avoid issues like bug #353239.

_MergeProcess: use default SIGINT/TERM handlers

Signal handlers inherited from the parent process are irrelevant here.

EbuildFetcher: use default SIGINT/TERM handlers

This seems to fix bug #353239.

put main code in a private func() to remove near duplicated code

emerge: spawn nofetch for --pretend --fetch

This is part of bug 353334.

depgraph: display 'searching for similar names'

It can take few seconds to search, so display a status message.

Print near matches for cmd line atoms without matching ebuild

ImportModulesTestCase: use iterator, not list

EbuildBuild: spawn nofetch for fetchonly

Fix a typo in a comment.

Allow relative paths (starting with ./) on the cmd line

bug 352208

slot collision suggestions: Avoid showing redundant suggestions.

http://forums.gentoo.org/viewtopic-t-862257.html?sid=9ba8646a15044fe024a41154df351c6a

Display: Simplify mask code for bug #58416.

Hopefully this makes the logic more understandable, though it may
support fewer cases. If we want to handle more cases then hopefully
we can do it without making the code too complex.

getRawMissingKeywords: ACCEPT_KEYWORDS, not ARCH

Display: align nomerge nodes more

Display: align blocker and nomerge nodes

getRawMissingKeywords: fix getEgroups breakage

ebuild_xattr: lazily import xattr

test/lint/test_import_modules.py: Better error reporting and expected failures