ManifestScheduler: tweak _task_exit output order

This ensures that errors are logged before new jobs are scheduled.

Substitute EventLoop for PollScheduler.

EventLoop suffices for all of these cases. EventLoop(main=False) is
used for thread safety where API consumers may be using threads.

PollScheduler: remove register/unregister methods

These methods were aliases for the EventLoop io_add_watch and
source_remove methods. Migrating to the EventLoop method names allows
an EventLoop instance to substitute for a PollScheduler inside
subclasses of AbstractPollTask.

PollScheduler: remove self._jobs

This is variable is only needed by the Scheduler class.

AsyncScheduler: remove useless __slots__

It's not allowed for AsyncScheduler to inherit from two classes that
define __slots__, so it useless to define __slots__ for AsyncScheduler
and subclasses.

TaskScheduler: inherit AsyncScheduler

This allows the QueueScheduler class to be eliminated.

test_ipc_daemon: implement internal SleepProcess

Emulate the sleep command, in order to ensure a consistent return code
when it is killed by SIGTERM (see bug #437180).

ebuild.sh: comment on noauto behavior

repoman: avoid Manifest double signature

ManifestScheduler: handle InvalidDependString

ManifestTask: add missing signatures

If the existing Manifest already has the correct content, but it is
not signed, then sign it if appropriate.

AsyncScheduler: poll in _schedule_tasks

Triggers cleanup and exit listeners if there's nothing left to do.

AsyncScheduler: implement _poll

AsyncScheduler: use _termination_check

The _terminate_tasks method is always supposed to be called via
_termination_check.

AsyncScheduler: source_remove in _wait

EbuildFetcher/MergeProcess: inherit ForkProcess

Also add missing __slots__ to ForkProcess. TODO: Share code
between ForkProcess and MergeProcess.

egencache: add --update-manifests, bug #436918

Update manifest files, and sign them if signing is enabled. This
supports parallelization if enabled via the --jobs option. The
--thin-manifests and --sign-manifests options may be used to manually
override layout.conf settings. There's also a new --strict-manifests
option that may be used to manually override the "strict" FEATURES
setting, a --gpg-key option to override PORTAGE_GPG_KEY, and a
--gpg-dir option to override PORTAGE_GPG_DIR.

Fix emerge <tbz2> for python3.

OrderedDict: fix setitem bug #436974

This fixes some strange behavior triggered during fetch, which is only
observable with Python 2.6 since it doesn't have
collections.OrderedDict.

debug-print: chgrp ${PORTAGE_GRPNAME:-portage}

This fixes warnings for prefix users (see commits
1c3c3b802014ac6356af09d149aaaffce6c14dc3 and
6983b1a1dd21f931ba751b727bd1a3c460383840).

phase-functions.sh: chgrp $T/environment

This partially reverts commit 314791e319e3ac7ce75f3a6f9ae9cc5c2b837df6,
in order to cover possible cases where it may not actually be
redundant, like if ebuild(1) is used to call pkg_setup as root, and
then a different user calls src_unpack. We use PORTAGE_GRPNAME if set,
in order to avoid triggering irrelevant warnings for unprivileged
prefix users (see chown and chgrp wrappers in commit
45bedf9cdc10fafd94858f67d62b36d35dd99544). This mirrors the approach
taken in commit 1c3c3b802014ac6356af09d149aaaffce6c14dc3 of the prefix
branch.

phase-functions.sh: remove redundant chown/chmod

These calls trigger warnings in prefix mode, since commit
45bedf9cdc10fafd94858f67d62b36d35dd99544. They are redundant, since the
permissions are handled the _post_phase_userpriv_perms function.

Add chown and chgrp wrappers for prefix.

For prefix, there is typically only a single unprivileged user who owns
everthing that is built and installed, and in this case it's desirable
to ignore chown and chrgrp failures. So, move the logic from fowners
into chown and chgrp wrappers, as discussed in bug #433453.

Handle KeyError when loading pickles.

See http://forums.gentoo.org/viewtopic-t-938022.html for example.

Fix indent from last commit.

ebuild.sh: EAPI conditional usex dummy

This probably makes no difference in practice, since it only affects
the "depend" phase. Note that we're allowed to use EAPI conditionals
here, since we parse the EAPI on the python side and pass it to bash.

_slot_operator: EAPI 5-hdepend DEPEND target only

prepalldocs: fix inverted eapi_has_docompress

This broke in commit ab46499322311c1faa710c63d0a5339e49a9061a.

dodoc: source isolated-functions.sh earlier

This is needed since commit ab46499322311c1faa710c63d0a5339e49a9061a.

UseManager: /etc/portage/profile extended syntax

If /etc/portage/profile/eapi does not exist, then support extended atom
syntax. This will fix bug #436330.

Add eapi.sh with ___eapi_*() functions and use these functions in other files.

test_ipc_daemon: increase sleep for bug #436334

Use constants for more hardcoded *DEPEND lists.

update_ents: use Package._dep_keys

evaluate_slot_operator_equal_deps: do HDEPEND

Use constants for more hardcoded *DEPEND lists.

Use constants for hardcoded *DEPEND lists.

Test emerge --root-deps more.

Test emerge --root-deps.

EventLoop: fix busy loop waiting for child pid

This fixes a case where EventLoop could consume 100% CPU while waiting
for a child process. It also fixes timeout calculations in python 2.x,
where it was using integer division instead of float.

_add_pkg_deps: use _get_eapi_attrs

ResolverPlayground: check targetroot in mergelist

ResolverPlayground: support targetroot

In order to support targetroot, ResolverPlayground always writes
make.conf, since create_trees does not propagate all of the necessary
settings via the env parameter (because the env settings often need to
be isolated from eachother, especially for cross-compilation).

repoman: rename most *DEPEND.* to dependency.*

This makes it easier to add new types, like HDEPEND.

repoman.1: unify *DEPEND.bad*, *DEPEND.syntax docs

Document targetroot useflag in ebuild(5)

Document default behaviour without --root-deps for EAPI 5- in ebuild(5)

Put lengthy install-location documentation into an own paragraph for cross-compile docs in ebuild(5)

Add EAPI 5-hdepend.docbook

Remove obsolete cache/flat_list.py

This module has been obsolete and useless for many years, which is
especially obvious since it was missing INHERITED from its
auxdbkey_order and it did not write any eclass metadata.

ResolverPlayground: simplify vdb/portdb creation

This enables automatic handling of HDEPEND.

make.conf.5: refer to ebuild.5 for cross-compile

circular_dependency: handle HDEPEND

cache/sqlite.py: translate None to empty string

cache/metadata.py: add HDEPEND

portageq: Automatically do not include imported functions in the list of commands.

man/emerge.1: italics for emphasis

Re-word HDEPEND docs wrt "EAPI 5 and earlier"

Referring to ranges like this is ambigous when when don't know what
EAPI 6 will bring, and we have both EAPI 5-progress and 5-hdepend which
add different feature sets to EAPI 5.

Document behaviour of --root-deps for EAPI 6+ in emerge(1)

Document HDEPEND in ebuild(5)

repoman: support HDEPEND for EAPI 5-hdepend

Add experimental EAPI 5-hdepend support.

_global_updates: scan binarytree only if needed

This will fix bug #436084.

drop support for QA_DT_HASH/QA_STRICT_DT_HASH

These variables have been deprecated in favor of the new variables
QA_STRICT_FLAGS_IGNORED/QA_FLAGS_IGNORED, and the tree has been
converted over to the new ones, so drop the old vars.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

use `readlink -f` if it works

Rather than always re-implementing `readlink -f` in shell, probe the host
tool first to see if it works.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

_create_use_string: pass in feature_flags arg

This allows them to be looked up outside of the USE_EXPAND loop.

env_update: use eroot variable more

Reorder description of --root-deps in emerge(1)

80 char width and max 1 sentence per line.

Improve wording of *DEPEND variable description in ebuild(5) a bit

Better documentation of PDEPEND in ebuild(5)

Fix referencens to Dependencies section of ebuild(5)

Adjust code of first paragraph of ebuild(5) to 80 char width

Reorder and cleanup of ebuild(5)

env_update: scan all dirs starting with "lib"

Also see bug #435834 and commit
7fb9758506341ffc05585fbd18f2be58ef0e16c2.

scan all lib subdirs

Rather than hardcoding lib/lib32/lib64, scan all dirs starting with "lib".

URL: https://bugs.gentoo.org/435834
Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Add _get_feature_flags(eapi_attrs) function.

This will be useful for adding flags that behave specially in
experimental EAPIs, such as the targetroot/sysroot flag which is
planned for EAPI 5-hdepend.

RepoConfig: add find_invalid_path_char method

This binds filename validation to the RepoConfig, so that eventually
we'll be able to control it via a layout.conf setting as discussed in
bug #435934.

Use re.UNICODE for category/package name regexes.

This only affects r'\w' with Python 2.x, since Python 3 already
defaults to re.UNICODE behavior when compiling unicode str objects
(unless re.ASCII is specified). If a repository wants to ban unicode
categore/package names then we can add a layout.conf setting for that,
as discussed in bug #435934.

emerge.1: --depclean-lib-check not time-consuming

Since commit f393413c3f823ef4a60acfcc41c3920933510fc1, it's optimized
so that it shouldn't take much time.

Include usex in the list of helpers banned in global scope in
documentation of EAPI="5-progress".

NEWS: fix --depclean-lib-check sentence

doebuild.py: remove unused f = None

Deprecate EAPI 5_pre2.

NEWS/RELEASE-NOTES: adjust info for package sets

portage.5: document nested package sets

Add preserve-libs for stable branch (not default)

EAPI 5 supports automatic rebuilds via the slot-operator and sub-slots,
which makes preserve-libs much more user-friendly, since it makes
@preserved-rebuild unnecessary (also see bug #364425 for explanation of
@preserved-rebuild shortcomings). Therefore, enable preserve-libs for
the stable branch, but not by default. After EAPI 5 is widely adopted,
we can consider enabling preserve-libs by default.

Support EAPI="5-progress".

Add _DEPCLEAN_LIB_CHECK_DEFAULT constant.

This will allow for the option to be available in the stable branch
without changing the default --depclean behavior.

primaryuri: prefer thirdpartymirrors in SRC_URI

This will fix bug #435720.

Improve allowing of directories on profile level and repository level in EAPI="4-python".

Read profile EAPI earlier.

Move EAPI check for stable USE forcing and masking to portage.eapi module.

NEWS: EAPI 5 in 2.1.11.19

Enable official EAPI 5 support.

The council has officialy approved EAPI 5 in PMS:

http://git.overlays.gentoo.org/gitweb/?p=proj/pms.git;a=commit;h=99c78a51ff4c9737cdd399620072abdc14f8df11

Add QA_DESKTOP_FILE variable.

update.py: cleanup imports

update_dbentry: fix "move" to translate atom[use]

test_update_dbentry: test "move" command more

deprecated_profile_check: search more locations

This fixes it to search both /etc/make.profile and
/etc/portage/make.profile, and also makes it traverse parent profiles
when the settings parameter is passed in.

config: source make.conf only once if samefile

Since migration from /etc/make.conf to /etc/portage/make.conf, people
frequently ask if hardlinking or symlinking them is allowed. So, detect
this case and avoid redundant sourcing when appropriate.