EventLoop: allow IO event handler re-entrance

IO event handlers may be re-entrant, in case something like
AbstractPollTask._wait_loop(), needs to be called inside a handler for
some reason.

After python fork, don't close fds for PyPy 1.8.

If we close all open file descriptors after a fork, with PyPy 1.8 it
triggers "[Errno 9] Bad file descriptor" later in the subprocess.
Apparently it is holding references to file descriptors and closing
them after they've already been closed and re-opened for other
purposes. As a workaround, we don't close the file descriptors, so
that they won't be re-used and therefore we won't be vulnerable to this
kind of interference.

The obvious caveat of not closing the fds is that the subprocess can
hold locks that belonged to the parent process, even after the parent
process has released the locks. Hopefully this won't be a major problem
though, since the subprocess has to exit at release the lock
eventually, when the EbuildFetcher or _MergeProcess task is complete.

EventLoop._do_poll: tweak EINTR handling

Silently handle EINTR, which is normal when we have received a signal
such as SIGINT. Also, raise StopIteration in order to break out of our
current iteration and respond appropriately to the signal as soon as
possible.

AsynchronousTask: don't wait for exit status

Synchronous waiting for status is not supported, since it would be
vulnerable to hitting the recursion limit when a large number of tasks
need to be terminated simultaneously, like in bug #402335.

EventLoop: make _poll/_run_timeouts re-entrant

This fixes infinite loops triggered by Ctrl-C, where timeout calls
would exhaust the poll event queue because _poll was not re-entrant.
Now, re-entrance is only prohibited for individual callback functions,
in order to protect against infinite recursion.

runtests.sh: test PyPy 1.8, and support prefix

Handle missing os.setgroups for PyPy.

See https://bugs.pypy.org/issue833 for details.

checksum.py: remove PyPy 1.7 workarounds

The corresponding hashlib issues are fixed in PyPy 1.8:

https://bugs.pypy.org/issue957

PollScheduler: use idle_add to check termination

This fixes a regression in termination signal handling since commit
8c1fcf5a9ba9fa4d406a4d0cc284fe73a84f5a63, which cause termination
signals to be ignored until a running job had exited. This regression
is not really noticeable for Ctrl-C handling, since in that case the
SIGINT propagets to subprocesses, causing them to exit and trigger a
_schedule() call whichtriggers a termination check.

repoman: check for env-update, bug #402339

Scheduler: simplify _sched_iface construction

EbuildIpcDaemon: handle POLLHUP, bug #401919

AbstractPollTask: merge _wait from subclass

xpak.unpackinfo: validate paths, bug #403149

QueueScheduler: tweak run loop logic

EventLoop.iteration: handle _poll StopIteration

MetadataRegen: use porttrees

_emerge.MetadataRegen.MetadataRegen._iter_metadata_processes():
Regenerate metadata for given cpv in each repository.

EventLoop: remove obsolete timeout_add comment

EventLoop.iteration: run timeouts if no fds

PollScheduler: return None from _schedule_tasks

The _keep_scheduling() template method is used instead.

QueueScheduler: timeout compat for GlibEventLoop

Raising StopIteration doesn't work with GlibEventLoop, since it catches
all exceptions and logs them. So, just use a boolean expression to
terminate the while loop. This depends on commit
dcb9fab8463996542d06d29bc383f5933bf0d677 so that IpcDaemonTestCase
timeouts work correctly with both EventLoop and GlibEventLoop.

EventLoop: shorten iteration poll if timeouts

This fixes EventLoop.iteration() so that it doesn't poll too long when
there are timeouts registered, since it's not nice to spend a long time
polling for an IO event that might never arrive even though a timeout
may have changed some state that would terminate a timeout loop like
in QueueScheduler.run() or AbstractPollTask._wait_loop(). This makes
EventLoop.iteration() behave more like GlibEventLoop.iteration().

Fix FEATURES=no{doc,info,man} for bug #403181

This has been broken since commit
93b654199a32fc3df1299b030317720b9294b0c3.

repoman: no ChangeLog for Manifest-only commit

Use --echangelog=force to force ChangeLog generation in this case.
See bug #398009.

display_autounmask: highlight config changes

As suggested here:

http://archives.gentoo.org/gentoo-dev/msg_06a47ad55977f4d16bfe18769c6c38b8.xml

GlibEventLoop: use gi.repository.GLib

PollScheduler: add generic _main_loop()

repoman: support PORTAGE_CONFIGROOT, bug 402577

repoman: remove redundant config constructor

Scheduler: cleanup timeout after _main_loop

The way we don't leave an leak a reference to the Scheduler instance
in the global EventLoop instance.

EbuildMerge: add exit_hook to unlock build dir

This is needed since commit 7a6c34cc6bd6eb20a97e05347f87a0157f4ae58a in
order to ensure that the build dir is unlocked before exit listeners
are called. It fixes failures in catalyst stage 1 builds where two
instances of the same package, built sequentially for separate roots,
interfere with eachother's build dir lock.

Use IO_* constants where appropriate.

EventLoop: name poll constants like glib's

It's conceivable the constants could be implementation dependent, so
use glib's generic IO_* names rather than the POLL* names which are
associated specifically with python's select.poll object.

EventLoop: inherit PollConstants

Add global_event_loop() and GlibEventLoop.

This causes all PollScheduler instances within a given process to share
a singleton EventLoop instance, and also makes it possible to swap in
glib's main loop for all portage event loops in the main process.

AsynchronousTask: exit listeners reverse order

This should fix a Scheduler hang which is triggered when that merge
queue, a SequentialTaskQueue, doesn't decrement its merge count until
after other exit listeners have already run.

QueueScheduler: fix for IpcDaemonTestCase

Use a StopIteration exception to jump out of EventLoop.iterate()
before the poll loop.

EventLoop: fix inverted may_block logic

This caused emerge to consume 100% cpu.

Move EventLoop to a separate file.

Use AbstractPollTask._wait_loop() more.

MergeProcess: handle POLLHUP from elog pipe

PollScheduler: remove _poll_loop

We can use iteration() instead, and _poll_loop's exit behavior doesn't
seem practical to emulate with glib.MainLoop.

test_poll: use TaskScheduler

PollScheduler: remove EventLoop._schedule hook

PollScheduler and subclasses be should already be calling
self._schedule() when necessary.

Scheduler: tweak _add_prefetchers

Since commit 4620d6aba1c5c10344e311585516ee43819b703c, the first
prefetcher is started as soon as it's added to the task queue.

SequentialTaskQueue: use finally for _scheduling

Also, remove unecessary _dirty flag.

IpcDaemonTestCase: init start_time earlier

Since commit 4620d6aba1c5c10344e311585516ee43819b703c, the
SequentialTaskQueue.add() method starts the task immediately, so
initialize start_time before that happens.

SequentialTaskQueue: schedule automatically

This is needed to compensate for the removal of _idle_schedule in
commit 8c1fcf5a9ba9fa4d406a4d0cc284fe73a84f5a63, so that the
Scheduler's task queues operate without needing their schedule methods
called inside Scheduler._schedule_tasks().

Scheduler: remove _idle_schedule

This shouldn't be needed, since _schedule() should already be called
automatically when there are any relevant state changes.

EventLoop: use same method names as glib

PollScheduler: don't inherit EventLoop

PollScheduler: split out EventLoop base class

repoman: make SRC_URI.mirror fatal

Thanks to Christian Ruppert <idl0r@gentoo.org> for the suggestion.

repoman: normalize thirdpartymirrors trailing /

AbstractPollTask: use timeout_add

QueueScheduler: tweak timeout handling

PollScheduler: remove _schedule_wait

QueueScheduler: use timeout_add

AbstractPollTask: add _wait_loop method

Use PollScheduler iteration method.

PollScheduler: add iteration method

Scheduler: use idle_add, not _poll override

PollScheduler: implement idle_add

PollScheduler: glib.io_add_watch() compatibility

PollScheduler: timeouts regardless of IO events

Now PollScheduler will execute timeouts predictably, even when there
no IO events being generated. This allows the Scheduler's display
updates to be handled via timeout_add.

Use timeout_add to avoid recursion, bug #402335.

AsynchronousTask: merge _waiting from subclass

PollScheduler: add timeout_add like glib's

This will be useful as a substitute for recursion, in order to avoid
hitting the recursion limit for bug #402335.

spawn: assert that fork returns int type

Remove portage.const._ENABLE_XATTR.

repoman: support git commit --gpg-sign

In order to sign commits with git, you will need Git >=1.7.9 and your
key will have to be configured by `git config user.signingkey key_id`.
Also, the repository will need to have "sign-commits = true" in
metadata/layout.conf. This will fix bug #333687.

Honor repos.conf for overlay priority, bug 402099

Signed-off-by: Zac Medico <zmedico@gentoo.org>

install_qa_check: handle info dir rm failure

This will fix bug #400679.

LinkageMapELF: handle null bytes in NEEDED.ELF.2

This avoids an error from os.stat:
  TypeError: must be encoded string without NULL bytes, not str

Use consistent indentation in output of `emerge -p --columns ${package}`
regardless of ROOT.

Delete needless parentheses.

Don't print ::${repository} for main repository in output of
`emerge -pv ${package}` by default. Add --verbose-main-repo-display
option, which enables printing ::${repository} for main repository.

Apply INSTALL_MASK prior to reading the tree

If this isn't done, collision-protect uses the old cached filelist,
leading to it complaining about things that INSTALL_MASK sorted already.

BUGS=chromium-os:25060
TEST=emerge sudo && emerge chromeos-base

phase-helpers.sh: set -x when emulating yes

This avoids displaying a bunch of garbage in debug mode.

Fix display of installed version for packages, which have multiple slots
installed. Follow-up to commit 8118be36842a2db2eb72538e21a3b343773b3365.

Make the second part of_emerge.resolver.output.Display.verbose_size()
conditional on self.quiet_repo_display instead of earlier returning
if self.quiet_repo_display is False. No functional changes.

Print [${old_version}::${old_repository}] in output of `emerge -pv ${package}`
when ${old_version} is the same as ${new_version}, but ${old_repository} is
different than ${new_repository}.

ecompress: don't rename dir symlink, bug #399595

document --quiet-repo-display

Print ::${repository} in output of `emerge -pv ${package}` by default.
Add --quiet-repo-display option, which enables previous, more quiet output.

Fix --changed-use interaction with bug 297549.

The automatic --binpkg-respect-use code (from bug #297549) was
inappropriately overriding --changed-use and triggering behavior like
--newuse, as reported here:

http://archives.gentoo.org/gentoo-dev/msg_6070ab87737d7e16a5cec2a72c9111fd.xml

man/emerge.1: reference --exclude from --newuse

fix comment garbage from last commit

xml/metadata.py: handle ExpatError

remove stray 'fi' from last commit

_eapi0_src_test: remove redundant FEATURES checks

Support repository dependencies in EAPI="4-python".

portageq metadata: Support repository dependencies.

create_world_atom: multi-repo portdbapi aux_get

This handles a KeyError raised from portdbapi.aux_get() when one of the
repositories has a corrupt ebuild.

add support for compressing debug sections to save space

Since binutils/gdb can compress the .debug* sections with zlib into
.zdebug*, we should be able to save quite a bit of space -- on my
system, I saw /usr/lib/debug/ go from ~20GB to ~7.5GB.

This requires binutils/gdb to be built with USE=zlib which is why
this defaults to off.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: add writable workaround for everyone

The writable issue shows up when using `ebuild` as non-root users
in non-prefix setups.  So always do it.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

egencache: escape newline instead of lstrip

egencache: use textwrap.dedent

Apply INSTALL_MASK prior to collision-protect.

It may be useful to avoid collisions in some scenarios.