EbuildMerge: add exit_hook to unlock build dir

This is needed since commit 7a6c34cc6bd6eb20a97e05347f87a0157f4ae58a in
order to ensure that the build dir is unlocked before exit listeners
are called. It fixes failures in catalyst stage 1 builds where two
instances of the same package, built sequentially for separate roots,
interfere with eachother's build dir lock.

Use IO_* constants where appropriate.

EventLoop: name poll constants like glib's

It's conceivable the constants could be implementation dependent, so
use glib's generic IO_* names rather than the POLL* names which are
associated specifically with python's select.poll object.

EventLoop: inherit PollConstants

Add global_event_loop() and GlibEventLoop.

This causes all PollScheduler instances within a given process to share
a singleton EventLoop instance, and also makes it possible to swap in
glib's main loop for all portage event loops in the main process.

AsynchronousTask: exit listeners reverse order

This should fix a Scheduler hang which is triggered when that merge
queue, a SequentialTaskQueue, doesn't decrement its merge count until
after other exit listeners have already run.

QueueScheduler: fix for IpcDaemonTestCase

Use a StopIteration exception to jump out of EventLoop.iterate()
before the poll loop.

EventLoop: fix inverted may_block logic

This caused emerge to consume 100% cpu.

Move EventLoop to a separate file.

Use AbstractPollTask._wait_loop() more.

MergeProcess: handle POLLHUP from elog pipe

PollScheduler: remove _poll_loop

We can use iteration() instead, and _poll_loop's exit behavior doesn't
seem practical to emulate with glib.MainLoop.

test_poll: use TaskScheduler

PollScheduler: remove EventLoop._schedule hook

PollScheduler and subclasses be should already be calling
self._schedule() when necessary.

Scheduler: tweak _add_prefetchers

Since commit 4620d6aba1c5c10344e311585516ee43819b703c, the first
prefetcher is started as soon as it's added to the task queue.

SequentialTaskQueue: use finally for _scheduling

Also, remove unecessary _dirty flag.

IpcDaemonTestCase: init start_time earlier

Since commit 4620d6aba1c5c10344e311585516ee43819b703c, the
SequentialTaskQueue.add() method starts the task immediately, so
initialize start_time before that happens.

SequentialTaskQueue: schedule automatically

This is needed to compensate for the removal of _idle_schedule in
commit 8c1fcf5a9ba9fa4d406a4d0cc284fe73a84f5a63, so that the
Scheduler's task queues operate without needing their schedule methods
called inside Scheduler._schedule_tasks().

Scheduler: remove _idle_schedule

This shouldn't be needed, since _schedule() should already be called
automatically when there are any relevant state changes.

EventLoop: use same method names as glib

PollScheduler: don't inherit EventLoop

PollScheduler: split out EventLoop base class

repoman: make SRC_URI.mirror fatal

Thanks to Christian Ruppert <idl0r@gentoo.org> for the suggestion.

repoman: normalize thirdpartymirrors trailing /

AbstractPollTask: use timeout_add

QueueScheduler: tweak timeout handling

PollScheduler: remove _schedule_wait

QueueScheduler: use timeout_add

AbstractPollTask: add _wait_loop method

Use PollScheduler iteration method.

PollScheduler: add iteration method

Scheduler: use idle_add, not _poll override

PollScheduler: implement idle_add

PollScheduler: glib.io_add_watch() compatibility

PollScheduler: timeouts regardless of IO events

Now PollScheduler will execute timeouts predictably, even when there
no IO events being generated. This allows the Scheduler's display
updates to be handled via timeout_add.

Use timeout_add to avoid recursion, bug #402335.

AsynchronousTask: merge _waiting from subclass

PollScheduler: add timeout_add like glib's

This will be useful as a substitute for recursion, in order to avoid
hitting the recursion limit for bug #402335.

spawn: assert that fork returns int type

Remove portage.const._ENABLE_XATTR.

repoman: support git commit --gpg-sign

In order to sign commits with git, you will need Git >=1.7.9 and your
key will have to be configured by `git config user.signingkey key_id`.
Also, the repository will need to have "sign-commits = true" in
metadata/layout.conf. This will fix bug #333687.

Honor repos.conf for overlay priority, bug 402099

Signed-off-by: Zac Medico <zmedico@gentoo.org>

install_qa_check: handle info dir rm failure

This will fix bug #400679.

LinkageMapELF: handle null bytes in NEEDED.ELF.2

This avoids an error from os.stat:
  TypeError: must be encoded string without NULL bytes, not str

Use consistent indentation in output of `emerge -p --columns ${package}`
regardless of ROOT.

Delete needless parentheses.

Don't print ::${repository} for main repository in output of
`emerge -pv ${package}` by default. Add --verbose-main-repo-display
option, which enables printing ::${repository} for main repository.

Apply INSTALL_MASK prior to reading the tree

If this isn't done, collision-protect uses the old cached filelist,
leading to it complaining about things that INSTALL_MASK sorted already.

BUGS=chromium-os:25060
TEST=emerge sudo && emerge chromeos-base

phase-helpers.sh: set -x when emulating yes

This avoids displaying a bunch of garbage in debug mode.

Fix display of installed version for packages, which have multiple slots
installed. Follow-up to commit 8118be36842a2db2eb72538e21a3b343773b3365.

Make the second part of_emerge.resolver.output.Display.verbose_size()
conditional on self.quiet_repo_display instead of earlier returning
if self.quiet_repo_display is False. No functional changes.

Print [${old_version}::${old_repository}] in output of `emerge -pv ${package}`
when ${old_version} is the same as ${new_version}, but ${old_repository} is
different than ${new_repository}.

ecompress: don't rename dir symlink, bug #399595

document --quiet-repo-display

Print ::${repository} in output of `emerge -pv ${package}` by default.
Add --quiet-repo-display option, which enables previous, more quiet output.

Fix --changed-use interaction with bug 297549.

The automatic --binpkg-respect-use code (from bug #297549) was
inappropriately overriding --changed-use and triggering behavior like
--newuse, as reported here:

http://archives.gentoo.org/gentoo-dev/msg_6070ab87737d7e16a5cec2a72c9111fd.xml

man/emerge.1: reference --exclude from --newuse

fix comment garbage from last commit

xml/metadata.py: handle ExpatError

remove stray 'fi' from last commit

_eapi0_src_test: remove redundant FEATURES checks

Support repository dependencies in EAPI="4-python".

portageq metadata: Support repository dependencies.

create_world_atom: multi-repo portdbapi aux_get

This handles a KeyError raised from portdbapi.aux_get() when one of the
repositories has a corrupt ebuild.

add support for compressing debug sections to save space

Since binutils/gdb can compress the .debug* sections with zlib into
.zdebug*, we should be able to save quite a bit of space -- on my
system, I saw /usr/lib/debug/ go from ~20GB to ~7.5GB.

This requires binutils/gdb to be built with USE=zlib which is why
this defaults to off.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: add writable workaround for everyone

The writable issue shows up when using `ebuild` as non-root users
in non-prefix setups.  So always do it.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

egencache: escape newline instead of lstrip

egencache: use textwrap.dedent

Apply INSTALL_MASK prior to collision-protect.

It may be useful to avoid collisions in some scenarios.

dyn_install: skip copy if possible

Also, fix EPREFIX breakage since commit
5d5364e982820fda56db5a40884e1c5f8e784b96.

dyn_package: portable cp args by Mike Frysinger

dyn_package: remove stale PROOT if necessary

Modify PKG_INSTALL_MASK to apply only to binpkg creation.

Primarily useful for certain cases where cros needs to suppress debug
symbols being included for specific pkgs, and/or suppressing binpkgs
from carrying sensitive configuration data, but we still wish for it
to be installed.

BUG=chromium-os:25060
TEST=set PKG_INSTALL_MASK, check ${D} vs what's in the binpkg

Change-Id: I0f81a9e394b7b0b64dbbcbe8d189876cb8421dfa

test_config: fix AttributeError: 'str'

depgraph: account for unevaluated_atom in cache

depgraph: unevaluated parent atom in debug output

Add --human-readable to rsync opts for bug 269410

read_corresponding_eapi_file: unicode, bug 398587

quickpkg: add leading ./ to names for bug 398543

DEVELOPING: add "Dependencies" section

DEVELOPING: add "Python Version" section

DEVELOPING: remove section about string module

The module no longer exists since Python 2.7, so by now it should be
obvious that it's obsolete.

portage.debug.trace_handler.__init__(): Fix compatibility with Python 3.

ExtendedAtomDict: fix for python-trace

env_update: ldsoconf_update flag not reliable

The ldsoconf_update flag was not a reliable indicator of whether
or not ldconfig needs to be called, since ld.so.conf can have lines
like "include ld.so.conf.d/*.conf" that pull in outside content which
may have changed without being detected.

Update documentation of EAPI="4-python".

Set REPOSITORY variable in ebuild environment in EAPI="4-python".

Fix location of a comment.

Set portage-1 as default profile format for repositories using EAPI="4-python".

Set eapi attribute on portage.repository.config.RepoConfig objects.

getlibpaths: regex for include

Support include directives in ld.so.conf.

ebuild.5: fix REQUIRED_USE sample for bug #397415

repoman: remove ebuild.allmasked check

This check it pretty useless, since there packages don't necessarily
need to have any stable keywords, and nobody relies on this check to
decide when to keyword something. Also, remove references to the
ebuild.nostable which doesn't seem to exist anymore.

repoman: discard xmatch caches from previous pkgs

This should help prevent repoman from consuming too much memory when
checking multiple packages or the whole tree.

RepoConfigLoader: don't mix duplicate repo config

RepoConfig.update() was being used to copy attributes from one instance
to another, possibly leading to inappropriate mixing of layout.conf
attributes from separate copies of the same repo. This is common with
repoman, for example, when temporarily overriding an rsync repo with
another copy of the same repo from CVS.

RepoConfig.update(): copy more attributes

This fixes a regression since commit
10246cd535f909dda8bd05de617c32d2b8a56b4a which caused layout.conf
settings such as thin-manifests to be ignored for repositories that
had repos.conf settings that did not specify the repository location.
In order to trigger this case, ResolverPlayground has been modified to
omit the location of each repository in the repos.conf file that it
generates.

repoman: later --ask prompt for bug #395995

portage.repository.config.RepoConfigLoader: Rename _add_overlays() to
_add_repositories().

Tweak CFLAGS scanelf loop.