Scheduler: tweak job_delay calc for bug #438650

* Max delay is reduced to 5 seconds (was 10).
* Calculated delay is now proportional to current/desired load ratio.
* When a delay is triggered, an event loop timeout is used to ensure
  that scheduling occurs as soon as the delay expires (rather than
  waiting for the _loadavg_latency timeout to expire).

ManifestTask: improve gpg key parsing

This fixes it to correctly parse longer key IDs, which do not fit on
the first line of gpg output. Without this fix, failure to parse the
key results in manifest being re-signed even though they already have
a signature with the correct key.

Move portage.dep._internal_warnings to portage.

emerge: optimize --moo, remove deprecated moo

The --moo action is fast like --help now. The "moo" argument has been
deprecated since bug #389609, and is now removed.

ManifestTask: remove unneeded _proc attribute

It's enough to reference the PopenProcess instance as
self._current_task while it's alive (CompositeTask._cancel() can kill
it via this).

repoman: allow 40 digit gpg key

emerge_main: use parse_opts for --help

repoman: validate PORTAGE_GPG_KEY

Test PopenProcess.

CompositeTask._start_task: propagate scheduler

Handle missing mkfifo for Jython.

PopenProcess: integrate PipeReader support

run_action: gc locals of calling func

emerge_main: split out run_action

Also move post_emerge and chk_updated_cfg_files to separate files.

Add missing PopenProcess class from last commit.

egencache --update-manifests: re-sign when needed

If the Manifest is signed with a different key from the one specified
by --gpg-key or PORTAGE_GPG_KEY, strip the existing signature and
re-sign the Manifest.

Add Display._append_repository() to avoid duplication of some code.

emerge_main: move imports to top

emerge_main: disable color earlier

Since commit 2ca487f929962154488999a125a7387eeb44be88, --help has not
respected --color=n and related options, since it's been optimized to
bypass options and config parsing. Now it's fixed to show without
colors in this optimized case (help with colors may be shown in some
other cases, like when emerge is called with zero arguments).

Display slots and subslots in output of `emerge -pv ${package}`.

MergeListItem: don't color "binary"

repoman: fix commit_footer NameError

emerge: lazy imports, optimize --help

chk_updated_info_files: move to separate file

display_preserved_libs: move to separate file

emerge: handle KeyboardInterrupt, not SIGINT

We handle KeyboardInterrupt instead of installing a SIGINT handler,
since exiting from signal handlers intermittently causes python to
ignore the SystemExit exception with a message like this:

Exception SystemExit: 130 in <function remove at 0x7fd2146c1320> ignored

emerge.1: broaden description of "r" merge attr

This attribute actually applies to anything matched by the internal
@__auto_* sets, which can mean a number of different things (see
depgraph._gen_reinstall_sets).

repoman: initial caps for git commit msg footers

repoman: special git commit footer, bug #438364

Invert order of arguments in Display._set_non_root_columns() and
Display._set_root_columns() for consistency with Display._set_no_columns().

Display.set_pkg_info(): Set cp and ver attributes.

repoman: identical Manifest commit message

Include the signed/unsigned part it the initial commit message,
so that it's identical to the Manifest commit message. See
bug #437546, comment #3.

Revert "repoman: identical Manifest commit message"

This reverts commit b91eefc82e995ba3463d212f95fa9228c5cf53ae.
See bug #437546, comment #3.

match_from_list: rm redundant catpkgsplit(mycpv)

simplify Display.convert_myoldbest().

Simplify Display.get_ver_str().

Bug #434970: Disable some warnings during `emerge --sync`.

EAPI="5-progress": Add master_repositories(), repository_path(),
available_eclasses(), eclass_path() and license_path() functions.

MergeListItem: color binary display, bug #438254

Add QA_MULTILIB_PATHS for bug #437910.

PollScheduler: fix _schedule() to return True

This fixes a regression like bug #403895, introduced in commit
b696337bf20fdc539ce7721df7a4b42b35999705, since functions have to
return True in order to be continuously scheduled.

Atom: support *_beta* wildcard, bug #437872

_parse_uri_map: preserve order of URIs

Returns a dict of tuples instead of a dict of sets.

fetch: preserve SRC_URI order for primaryuri

PollScheduler: disable default _loadavg_latency

Move the 30 second default to the Scheduler class, since that's the
only place that it's currently needed (all other schedulers have
relatively short-running jobs).

emerge: handle --load-average with no arg

With no argument, removes a previous load limit (same behavior as
make).

dyn_spec: s/Copyright/License/, bug #437588

Fixes 'Unknown tag' error with rpm 4.10.0.

Revert "test_ipc_daemon: handle fork/finally race"

This reverts commit 56fbe3fe63adf4e7c5b47400182cd857d145d5b0.
The race is now handled internally by spawn and ForkProcess.

ForkProcess: set _exit finally block before fork

This is the most reliable way to handle the race condition.

spawn: setup _exit finally block before fork

This is the most reliable way to handle the race condition.

test_ipc_daemon: handle fork/finally race

spawn: use finally block for failure os._exit()

Also, use writemsg for unicode safety.

repoman: check EXTRA_ECONF/EMAKE, bug #437348

repoman: simplify EbuildAssignment check

The line continuation code is no longer needed since commit
a1578c654f26cab07309bc9cbddd3c95c0c205b5, because wrapped lines are
automatically joined before they are passed to the check. Also, inherit
ignore_comment = True from LineCheck.

ForkProcess: increase scope of try/finally/_exit

This minimizes the probability of triggering irrelevant finally blocks
from earlier in the call stack (bug #345289).

PollScheduler: rename sched_iface to _sched_iface

It isn't used externally anymore, since SchedulerInterface is used
directly in those places now. Many of the self.sched_iface references
updated here, it's more appropriate to use self._event_loop.

Show slot + repo for colliding packages.

See bug #437516 for example.

repoman: identical Manifest commit message

This will fix bug #437546.

Substitute SchedulerInterface for PollScheduler.

SchedulerInterface suffices for all of these cases.
EventLoop(main=False) is used for thread safety where
API consumers may be using threads.

PollScheduler: split out SchedulerInterface

action_uninstall: use PollScheduler not Scheduler

The PollScheduler class suffices here, if we just add a small amount of
logic to calculate the _background attribute from the emerge opts.

best_version() and has_version(): Improve die() messages.

- Print different die() message for invalid atoms.
- Mention ebuild-ipc instead of portageq in other die() messages when
  ebuild-ipc is actually used.

Run tests with Python 3.4.

PollScheduler: move _main_loop to Scheduler

MetadataRegen: inherit AsyncScheduler

ManifestScheduler: tweak _task_exit output order

This ensures that errors are logged before new jobs are scheduled.

Substitute EventLoop for PollScheduler.

EventLoop suffices for all of these cases. EventLoop(main=False) is
used for thread safety where API consumers may be using threads.

PollScheduler: remove register/unregister methods

These methods were aliases for the EventLoop io_add_watch and
source_remove methods. Migrating to the EventLoop method names allows
an EventLoop instance to substitute for a PollScheduler inside
subclasses of AbstractPollTask.

PollScheduler: remove self._jobs

This is variable is only needed by the Scheduler class.

AsyncScheduler: remove useless __slots__

It's not allowed for AsyncScheduler to inherit from two classes that
define __slots__, so it useless to define __slots__ for AsyncScheduler
and subclasses.

TaskScheduler: inherit AsyncScheduler

This allows the QueueScheduler class to be eliminated.

test_ipc_daemon: implement internal SleepProcess

Emulate the sleep command, in order to ensure a consistent return code
when it is killed by SIGTERM (see bug #437180).

ebuild.sh: comment on noauto behavior

repoman: avoid Manifest double signature

ManifestScheduler: handle InvalidDependString

ManifestTask: add missing signatures

If the existing Manifest already has the correct content, but it is
not signed, then sign it if appropriate.

AsyncScheduler: poll in _schedule_tasks

Triggers cleanup and exit listeners if there's nothing left to do.

AsyncScheduler: implement _poll

AsyncScheduler: use _termination_check

The _terminate_tasks method is always supposed to be called via
_termination_check.

AsyncScheduler: source_remove in _wait

EbuildFetcher/MergeProcess: inherit ForkProcess

Also add missing __slots__ to ForkProcess. TODO: Share code
between ForkProcess and MergeProcess.

egencache: add --update-manifests, bug #436918

Update manifest files, and sign them if signing is enabled. This
supports parallelization if enabled via the --jobs option. The
--thin-manifests and --sign-manifests options may be used to manually
override layout.conf settings. There's also a new --strict-manifests
option that may be used to manually override the "strict" FEATURES
setting, a --gpg-key option to override PORTAGE_GPG_KEY, and a
--gpg-dir option to override PORTAGE_GPG_DIR.

Fix emerge <tbz2> for python3.

OrderedDict: fix setitem bug #436974

This fixes some strange behavior triggered during fetch, which is only
observable with Python 2.6 since it doesn't have
collections.OrderedDict.

debug-print: chgrp ${PORTAGE_GRPNAME:-portage}

This fixes warnings for prefix users (see commits
1c3c3b802014ac6356af09d149aaaffce6c14dc3 and
6983b1a1dd21f931ba751b727bd1a3c460383840).

phase-functions.sh: chgrp $T/environment

This partially reverts commit 314791e319e3ac7ce75f3a6f9ae9cc5c2b837df6,
in order to cover possible cases where it may not actually be
redundant, like if ebuild(1) is used to call pkg_setup as root, and
then a different user calls src_unpack. We use PORTAGE_GRPNAME if set,
in order to avoid triggering irrelevant warnings for unprivileged
prefix users (see chown and chgrp wrappers in commit
45bedf9cdc10fafd94858f67d62b36d35dd99544). This mirrors the approach
taken in commit 1c3c3b802014ac6356af09d149aaaffce6c14dc3 of the prefix
branch.

phase-functions.sh: remove redundant chown/chmod

These calls trigger warnings in prefix mode, since commit
45bedf9cdc10fafd94858f67d62b36d35dd99544. They are redundant, since the
permissions are handled the _post_phase_userpriv_perms function.

Add chown and chgrp wrappers for prefix.

For prefix, there is typically only a single unprivileged user who owns
everthing that is built and installed, and in this case it's desirable
to ignore chown and chrgrp failures. So, move the logic from fowners
into chown and chgrp wrappers, as discussed in bug #433453.

Handle KeyError when loading pickles.

See http://forums.gentoo.org/viewtopic-t-938022.html for example.

Fix indent from last commit.

ebuild.sh: EAPI conditional usex dummy

This probably makes no difference in practice, since it only affects
the "depend" phase. Note that we're allowed to use EAPI conditionals
here, since we parse the EAPI on the python side and pass it to bash.

_slot_operator: EAPI 5-hdepend DEPEND target only

prepalldocs: fix inverted eapi_has_docompress

This broke in commit ab46499322311c1faa710c63d0a5339e49a9061a.

dodoc: source isolated-functions.sh earlier

This is needed since commit ab46499322311c1faa710c63d0a5339e49a9061a.

UseManager: /etc/portage/profile extended syntax

If /etc/portage/profile/eapi does not exist, then support extended atom
syntax. This will fix bug #436330.

Add eapi.sh with ___eapi_*() functions and use these functions in other files.

test_ipc_daemon: increase sleep for bug #436334

Use constants for more hardcoded *DEPEND lists.

update_ents: use Package._dep_keys

evaluate_slot_operator_equal_deps: do HDEPEND