Bug #434970: Disable some warnings during `emerge --sync`.

EAPI="5-progress": Add master_repositories(), repository_path(),
available_eclasses(), eclass_path() and license_path() functions.

MergeListItem: color binary display, bug #438254

Add QA_MULTILIB_PATHS for bug #437910.

PollScheduler: fix _schedule() to return True

This fixes a regression like bug #403895, introduced in commit
b696337bf20fdc539ce7721df7a4b42b35999705, since functions have to
return True in order to be continuously scheduled.

Atom: support *_beta* wildcard, bug #437872

_parse_uri_map: preserve order of URIs

Returns a dict of tuples instead of a dict of sets.

fetch: preserve SRC_URI order for primaryuri

PollScheduler: disable default _loadavg_latency

Move the 30 second default to the Scheduler class, since that's the
only place that it's currently needed (all other schedulers have
relatively short-running jobs).

emerge: handle --load-average with no arg

With no argument, removes a previous load limit (same behavior as
make).

dyn_spec: s/Copyright/License/, bug #437588

Fixes 'Unknown tag' error with rpm 4.10.0.

Revert "test_ipc_daemon: handle fork/finally race"

This reverts commit 56fbe3fe63adf4e7c5b47400182cd857d145d5b0.
The race is now handled internally by spawn and ForkProcess.

ForkProcess: set _exit finally block before fork

This is the most reliable way to handle the race condition.

spawn: setup _exit finally block before fork

This is the most reliable way to handle the race condition.

test_ipc_daemon: handle fork/finally race

spawn: use finally block for failure os._exit()

Also, use writemsg for unicode safety.

repoman: check EXTRA_ECONF/EMAKE, bug #437348

repoman: simplify EbuildAssignment check

The line continuation code is no longer needed since commit
a1578c654f26cab07309bc9cbddd3c95c0c205b5, because wrapped lines are
automatically joined before they are passed to the check. Also, inherit
ignore_comment = True from LineCheck.

ForkProcess: increase scope of try/finally/_exit

This minimizes the probability of triggering irrelevant finally blocks
from earlier in the call stack (bug #345289).

PollScheduler: rename sched_iface to _sched_iface

It isn't used externally anymore, since SchedulerInterface is used
directly in those places now. Many of the self.sched_iface references
updated here, it's more appropriate to use self._event_loop.

Show slot + repo for colliding packages.

See bug #437516 for example.

repoman: identical Manifest commit message

This will fix bug #437546.

Substitute SchedulerInterface for PollScheduler.

SchedulerInterface suffices for all of these cases.
EventLoop(main=False) is used for thread safety where
API consumers may be using threads.

PollScheduler: split out SchedulerInterface

action_uninstall: use PollScheduler not Scheduler

The PollScheduler class suffices here, if we just add a small amount of
logic to calculate the _background attribute from the emerge opts.

best_version() and has_version(): Improve die() messages.

- Print different die() message for invalid atoms.
- Mention ebuild-ipc instead of portageq in other die() messages when
  ebuild-ipc is actually used.

Run tests with Python 3.4.

PollScheduler: move _main_loop to Scheduler

MetadataRegen: inherit AsyncScheduler

ManifestScheduler: tweak _task_exit output order

This ensures that errors are logged before new jobs are scheduled.

Substitute EventLoop for PollScheduler.

EventLoop suffices for all of these cases. EventLoop(main=False) is
used for thread safety where API consumers may be using threads.

PollScheduler: remove register/unregister methods

These methods were aliases for the EventLoop io_add_watch and
source_remove methods. Migrating to the EventLoop method names allows
an EventLoop instance to substitute for a PollScheduler inside
subclasses of AbstractPollTask.

PollScheduler: remove self._jobs

This is variable is only needed by the Scheduler class.

AsyncScheduler: remove useless __slots__

It's not allowed for AsyncScheduler to inherit from two classes that
define __slots__, so it useless to define __slots__ for AsyncScheduler
and subclasses.

TaskScheduler: inherit AsyncScheduler

This allows the QueueScheduler class to be eliminated.

test_ipc_daemon: implement internal SleepProcess

Emulate the sleep command, in order to ensure a consistent return code
when it is killed by SIGTERM (see bug #437180).

ebuild.sh: comment on noauto behavior

repoman: avoid Manifest double signature

ManifestScheduler: handle InvalidDependString

ManifestTask: add missing signatures

If the existing Manifest already has the correct content, but it is
not signed, then sign it if appropriate.

AsyncScheduler: poll in _schedule_tasks

Triggers cleanup and exit listeners if there's nothing left to do.

AsyncScheduler: implement _poll

AsyncScheduler: use _termination_check

The _terminate_tasks method is always supposed to be called via
_termination_check.

AsyncScheduler: source_remove in _wait

EbuildFetcher/MergeProcess: inherit ForkProcess

Also add missing __slots__ to ForkProcess. TODO: Share code
between ForkProcess and MergeProcess.

egencache: add --update-manifests, bug #436918

Update manifest files, and sign them if signing is enabled. This
supports parallelization if enabled via the --jobs option. The
--thin-manifests and --sign-manifests options may be used to manually
override layout.conf settings. There's also a new --strict-manifests
option that may be used to manually override the "strict" FEATURES
setting, a --gpg-key option to override PORTAGE_GPG_KEY, and a
--gpg-dir option to override PORTAGE_GPG_DIR.

Fix emerge <tbz2> for python3.

OrderedDict: fix setitem bug #436974

This fixes some strange behavior triggered during fetch, which is only
observable with Python 2.6 since it doesn't have
collections.OrderedDict.

debug-print: chgrp ${PORTAGE_GRPNAME:-portage}

This fixes warnings for prefix users (see commits
1c3c3b802014ac6356af09d149aaaffce6c14dc3 and
6983b1a1dd21f931ba751b727bd1a3c460383840).

phase-functions.sh: chgrp $T/environment

This partially reverts commit 314791e319e3ac7ce75f3a6f9ae9cc5c2b837df6,
in order to cover possible cases where it may not actually be
redundant, like if ebuild(1) is used to call pkg_setup as root, and
then a different user calls src_unpack. We use PORTAGE_GRPNAME if set,
in order to avoid triggering irrelevant warnings for unprivileged
prefix users (see chown and chgrp wrappers in commit
45bedf9cdc10fafd94858f67d62b36d35dd99544). This mirrors the approach
taken in commit 1c3c3b802014ac6356af09d149aaaffce6c14dc3 of the prefix
branch.

phase-functions.sh: remove redundant chown/chmod

These calls trigger warnings in prefix mode, since commit
45bedf9cdc10fafd94858f67d62b36d35dd99544. They are redundant, since the
permissions are handled the _post_phase_userpriv_perms function.

Add chown and chgrp wrappers for prefix.

For prefix, there is typically only a single unprivileged user who owns
everthing that is built and installed, and in this case it's desirable
to ignore chown and chrgrp failures. So, move the logic from fowners
into chown and chgrp wrappers, as discussed in bug #433453.

Handle KeyError when loading pickles.

See http://forums.gentoo.org/viewtopic-t-938022.html for example.

Fix indent from last commit.

ebuild.sh: EAPI conditional usex dummy

This probably makes no difference in practice, since it only affects
the "depend" phase. Note that we're allowed to use EAPI conditionals
here, since we parse the EAPI on the python side and pass it to bash.

_slot_operator: EAPI 5-hdepend DEPEND target only

prepalldocs: fix inverted eapi_has_docompress

This broke in commit ab46499322311c1faa710c63d0a5339e49a9061a.

dodoc: source isolated-functions.sh earlier

This is needed since commit ab46499322311c1faa710c63d0a5339e49a9061a.

UseManager: /etc/portage/profile extended syntax

If /etc/portage/profile/eapi does not exist, then support extended atom
syntax. This will fix bug #436330.

Add eapi.sh with ___eapi_*() functions and use these functions in other files.

test_ipc_daemon: increase sleep for bug #436334

Use constants for more hardcoded *DEPEND lists.

update_ents: use Package._dep_keys

evaluate_slot_operator_equal_deps: do HDEPEND

Use constants for more hardcoded *DEPEND lists.

Use constants for hardcoded *DEPEND lists.

Test emerge --root-deps more.

Test emerge --root-deps.

EventLoop: fix busy loop waiting for child pid

This fixes a case where EventLoop could consume 100% CPU while waiting
for a child process. It also fixes timeout calculations in python 2.x,
where it was using integer division instead of float.

_add_pkg_deps: use _get_eapi_attrs

ResolverPlayground: check targetroot in mergelist

ResolverPlayground: support targetroot

In order to support targetroot, ResolverPlayground always writes
make.conf, since create_trees does not propagate all of the necessary
settings via the env parameter (because the env settings often need to
be isolated from eachother, especially for cross-compilation).

repoman: rename most *DEPEND.* to dependency.*

This makes it easier to add new types, like HDEPEND.

repoman.1: unify *DEPEND.bad*, *DEPEND.syntax docs

Document targetroot useflag in ebuild(5)

Document default behaviour without --root-deps for EAPI 5- in ebuild(5)

Put lengthy install-location documentation into an own paragraph for cross-compile docs in ebuild(5)

Add EAPI 5-hdepend.docbook

Remove obsolete cache/flat_list.py

This module has been obsolete and useless for many years, which is
especially obvious since it was missing INHERITED from its
auxdbkey_order and it did not write any eclass metadata.

ResolverPlayground: simplify vdb/portdb creation

This enables automatic handling of HDEPEND.

make.conf.5: refer to ebuild.5 for cross-compile

circular_dependency: handle HDEPEND

cache/sqlite.py: translate None to empty string

cache/metadata.py: add HDEPEND

portageq: Automatically do not include imported functions in the list of commands.

man/emerge.1: italics for emphasis

Re-word HDEPEND docs wrt "EAPI 5 and earlier"

Referring to ranges like this is ambigous when when don't know what
EAPI 6 will bring, and we have both EAPI 5-progress and 5-hdepend which
add different feature sets to EAPI 5.

Document behaviour of --root-deps for EAPI 6+ in emerge(1)

Document HDEPEND in ebuild(5)

repoman: support HDEPEND for EAPI 5-hdepend

Add experimental EAPI 5-hdepend support.

_global_updates: scan binarytree only if needed

This will fix bug #436084.

drop support for QA_DT_HASH/QA_STRICT_DT_HASH

These variables have been deprecated in favor of the new variables
QA_STRICT_FLAGS_IGNORED/QA_FLAGS_IGNORED, and the tree has been
converted over to the new ones, so drop the old vars.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

use `readlink -f` if it works

Rather than always re-implementing `readlink -f` in shell, probe the host
tool first to see if it works.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

_create_use_string: pass in feature_flags arg

This allows them to be looked up outside of the USE_EXPAND loop.

env_update: use eroot variable more

Reorder description of --root-deps in emerge(1)

80 char width and max 1 sentence per line.

Improve wording of *DEPEND variable description in ebuild(5) a bit

Better documentation of PDEPEND in ebuild(5)

Fix referencens to Dependencies section of ebuild(5)