Unmerge orphan directory symlinks for bug 384397.

dblink: split out _unmerge_dirs method

This code will need to be called twice when safely unmerging symlinks
to directories (bug #384397).

ecompressdir: handle abs symlink, bug #405327

Scheduler: hang in _schedule_tasks, bug 404995

This is triggered whenever emerge bails out while parallel-fetch is
running in the background.

_eventloop: use explicit relative imports

MtimeDB: add JSON read/write

Support serialization as JSON instead of pickle, so that
/var/cache/edb/mtimedb is human readable/writable, for those rare
cases where it may be useful. Currently, pickle is still used for
writes. The plan is to migrate to JSON after JSON read has been
supported for some time.

MtimeDB._load: explicitly close file

PreservedLibsRegistry: add JSON read/write

Support serialization as JSON instead of pickle, so that
/var/lib/portage/preserved_libs_registry is human readable/writable,
for those rare cases where it may be useful. Currently, pickle is still
used for writes. The plan is to migrate to JSON after JSON read has
been supported for some time.

repoman: make virtual.oldstyle an error

Also, add "allow-provide-virtuals = true" setting for
metadata/layout.conf which reduces it to a warning.

portage.5: layout.conf manifest-hashes example

PollSelectAdapter: don't inherit PollConstants

Move Poll{Constants,SelectAdapter} to _eventloop.

Move _emerge.SlotObject to portage.util.

SlotObject: validate __slots__ and keyword args

Remove redundant inherited __slots__ values.

EventLoop: fix _io_handler_class "f" attribute

portage.package.ebuild.fetch.fetch(): Fix ResourceWarning with Python 3.2.

EventLoop.iteration: run timeouts last

Run timeouts last, in order to minimize latency in termination of
iteration loops that they may control.

SubProcess._waitpid_cb: fix args for glib compat

EventLoop: prune obsolete code

EventLoop.iteration: poll for blocking, not sleep

The effect is be mostly the same, but it's more conistent to use
_do_poll for all blocking, plus it has EINTR handling.

EventLoop.child_watch_add: dynamic IO watch

The IO watch is dynamically registered and unregistered as needed,
since we don't want to consider it as a valid source of events when
there are no child listeners. It's important to distinguish when there
are no valid sources of IO events, in order to avoid an endless poll
call if there's no timeout. This fixes possbible endless poll calls
since commit 1979a6cdfcd8c6bae4565982d82d862be07ba5be.

EventLoop: wakeup poll loop to receive sigchild

TODO: Find out why SIGCHLD signals aren't delivered during poll calls,
forcing us to wakeup in order to receive them. This fixes random hangs
in poll calls since commit 1979a6cdfcd8c6bae4565982d82d862be07ba5be.

EventLoop: fix signal race in _sigchld_init

EventLoop: fix _sigchld_io_cb to return True

This fixes an infinite loop since commit
1979a6cdfcd8c6bae4565982d82d862be07ba5be.

SubProcess: use child_watch_add

This fixes performance issues introduced by commit
9c664779a16f6cbca8a5ffe7f6b0c68572819723.

EventLoop: implement child_watch_add

portage.update.fixdbentries(): Fix ResourceWarnings with Python 3.2.

SubProcess: use non-blocking waitpid

This ensures that the EventLoop will not stop due to a waitpid call
blocking forever.

EventLoop.iteration: sleep if no IO handlers

Sleep so that we don't waste cpu time by looping too quickly. This
makes EventLoop useful for code that needs to wait for timeout
callbacks regardless of whether or not any IO handlers are currently
registered.

EventLoop.timeout_add: fix inverted min interval

Comment about _setup_pipes / PyPy GC interaction.

SpawnProcess: use os.open for /dev/null input

MergeProcess: inherit stdin for use with pdb

treewalk: handle EAGAIN from listdir for PyPy 1.8

get_open_fds: handle EAGAIN for PyPy 1.8

Scheduler: PyPy WeakValueDictionary.pop KeyError

KeyError observed from WeakValueDictionary.pop() with PyPy 1.8,
despite None given as default. Note that PyPy 1.8 has the same
WeakValueDictionary code as CPython 2.7, so it may be possible for
CPython to raise KeyError here as well.

SpawnProcess: for stdout use os.write, not fdopen

repoman: fix ebuild.badheader for bug #403705

SubProcess._wait: add debug code for bug #403697

Assert that fork returns int for bug 403697.

These cases should have been included with commit
6a94a074aa0475173a51f3f726377d4c407e986b.

AsynchronousTask: skip cancelled check in _start

These checks should be irrelevant, since the cancel() method is never
called on anything that hasn't been started already.

EventLoop: allow IO event handler re-entrance

IO event handlers may be re-entrant, in case something like
AbstractPollTask._wait_loop(), needs to be called inside a handler for
some reason.

After python fork, don't close fds for PyPy 1.8.

If we close all open file descriptors after a fork, with PyPy 1.8 it
triggers "[Errno 9] Bad file descriptor" later in the subprocess.
Apparently it is holding references to file descriptors and closing
them after they've already been closed and re-opened for other
purposes. As a workaround, we don't close the file descriptors, so
that they won't be re-used and therefore we won't be vulnerable to this
kind of interference.

The obvious caveat of not closing the fds is that the subprocess can
hold locks that belonged to the parent process, even after the parent
process has released the locks. Hopefully this won't be a major problem
though, since the subprocess has to exit at release the lock
eventually, when the EbuildFetcher or _MergeProcess task is complete.

EventLoop._do_poll: tweak EINTR handling

Silently handle EINTR, which is normal when we have received a signal
such as SIGINT. Also, raise StopIteration in order to break out of our
current iteration and respond appropriately to the signal as soon as
possible.

AsynchronousTask: don't wait for exit status

Synchronous waiting for status is not supported, since it would be
vulnerable to hitting the recursion limit when a large number of tasks
need to be terminated simultaneously, like in bug #402335.

EventLoop: make _poll/_run_timeouts re-entrant

This fixes infinite loops triggered by Ctrl-C, where timeout calls
would exhaust the poll event queue because _poll was not re-entrant.
Now, re-entrance is only prohibited for individual callback functions,
in order to protect against infinite recursion.

runtests.sh: test PyPy 1.8, and support prefix

Handle missing os.setgroups for PyPy.

See https://bugs.pypy.org/issue833 for details.

checksum.py: remove PyPy 1.7 workarounds

The corresponding hashlib issues are fixed in PyPy 1.8:

https://bugs.pypy.org/issue957

PollScheduler: use idle_add to check termination

This fixes a regression in termination signal handling since commit
8c1fcf5a9ba9fa4d406a4d0cc284fe73a84f5a63, which cause termination
signals to be ignored until a running job had exited. This regression
is not really noticeable for Ctrl-C handling, since in that case the
SIGINT propagets to subprocesses, causing them to exit and trigger a
_schedule() call whichtriggers a termination check.

repoman: check for env-update, bug #402339

Scheduler: simplify _sched_iface construction

EbuildIpcDaemon: handle POLLHUP, bug #401919

AbstractPollTask: merge _wait from subclass

xpak.unpackinfo: validate paths, bug #403149

QueueScheduler: tweak run loop logic

EventLoop.iteration: handle _poll StopIteration

MetadataRegen: use porttrees

_emerge.MetadataRegen.MetadataRegen._iter_metadata_processes():
Regenerate metadata for given cpv in each repository.

EventLoop: remove obsolete timeout_add comment

EventLoop.iteration: run timeouts if no fds

PollScheduler: return None from _schedule_tasks

The _keep_scheduling() template method is used instead.

QueueScheduler: timeout compat for GlibEventLoop

Raising StopIteration doesn't work with GlibEventLoop, since it catches
all exceptions and logs them. So, just use a boolean expression to
terminate the while loop. This depends on commit
dcb9fab8463996542d06d29bc383f5933bf0d677 so that IpcDaemonTestCase
timeouts work correctly with both EventLoop and GlibEventLoop.

EventLoop: shorten iteration poll if timeouts

This fixes EventLoop.iteration() so that it doesn't poll too long when
there are timeouts registered, since it's not nice to spend a long time
polling for an IO event that might never arrive even though a timeout
may have changed some state that would terminate a timeout loop like
in QueueScheduler.run() or AbstractPollTask._wait_loop(). This makes
EventLoop.iteration() behave more like GlibEventLoop.iteration().

Fix FEATURES=no{doc,info,man} for bug #403181

This has been broken since commit
93b654199a32fc3df1299b030317720b9294b0c3.

repoman: no ChangeLog for Manifest-only commit

Use --echangelog=force to force ChangeLog generation in this case.
See bug #398009.

display_autounmask: highlight config changes

As suggested here:

http://archives.gentoo.org/gentoo-dev/msg_06a47ad55977f4d16bfe18769c6c38b8.xml

GlibEventLoop: use gi.repository.GLib

PollScheduler: add generic _main_loop()

repoman: support PORTAGE_CONFIGROOT, bug 402577

repoman: remove redundant config constructor

Scheduler: cleanup timeout after _main_loop

The way we don't leave an leak a reference to the Scheduler instance
in the global EventLoop instance.

EbuildMerge: add exit_hook to unlock build dir

This is needed since commit 7a6c34cc6bd6eb20a97e05347f87a0157f4ae58a in
order to ensure that the build dir is unlocked before exit listeners
are called. It fixes failures in catalyst stage 1 builds where two
instances of the same package, built sequentially for separate roots,
interfere with eachother's build dir lock.

Use IO_* constants where appropriate.

EventLoop: name poll constants like glib's

It's conceivable the constants could be implementation dependent, so
use glib's generic IO_* names rather than the POLL* names which are
associated specifically with python's select.poll object.

EventLoop: inherit PollConstants

Add global_event_loop() and GlibEventLoop.

This causes all PollScheduler instances within a given process to share
a singleton EventLoop instance, and also makes it possible to swap in
glib's main loop for all portage event loops in the main process.

AsynchronousTask: exit listeners reverse order

This should fix a Scheduler hang which is triggered when that merge
queue, a SequentialTaskQueue, doesn't decrement its merge count until
after other exit listeners have already run.

QueueScheduler: fix for IpcDaemonTestCase

Use a StopIteration exception to jump out of EventLoop.iterate()
before the poll loop.

EventLoop: fix inverted may_block logic

This caused emerge to consume 100% cpu.

Move EventLoop to a separate file.

Use AbstractPollTask._wait_loop() more.

MergeProcess: handle POLLHUP from elog pipe

PollScheduler: remove _poll_loop

We can use iteration() instead, and _poll_loop's exit behavior doesn't
seem practical to emulate with glib.MainLoop.

test_poll: use TaskScheduler

PollScheduler: remove EventLoop._schedule hook

PollScheduler and subclasses be should already be calling
self._schedule() when necessary.

Scheduler: tweak _add_prefetchers

Since commit 4620d6aba1c5c10344e311585516ee43819b703c, the first
prefetcher is started as soon as it's added to the task queue.

SequentialTaskQueue: use finally for _scheduling

Also, remove unecessary _dirty flag.

IpcDaemonTestCase: init start_time earlier

Since commit 4620d6aba1c5c10344e311585516ee43819b703c, the
SequentialTaskQueue.add() method starts the task immediately, so
initialize start_time before that happens.

SequentialTaskQueue: schedule automatically

This is needed to compensate for the removal of _idle_schedule in
commit 8c1fcf5a9ba9fa4d406a4d0cc284fe73a84f5a63, so that the
Scheduler's task queues operate without needing their schedule methods
called inside Scheduler._schedule_tasks().

Scheduler: remove _idle_schedule

This shouldn't be needed, since _schedule() should already be called
automatically when there are any relevant state changes.

EventLoop: use same method names as glib

PollScheduler: don't inherit EventLoop

PollScheduler: split out EventLoop base class

repoman: make SRC_URI.mirror fatal

Thanks to Christian Ruppert <idl0r@gentoo.org> for the suggestion.

repoman: normalize thirdpartymirrors trailing /

AbstractPollTask: use timeout_add

QueueScheduler: tweak timeout handling

PollScheduler: remove _schedule_wait