EventLoop.iteration: run timeouts if no fds

PollScheduler: return None from _schedule_tasks

The _keep_scheduling() template method is used instead.

QueueScheduler: timeout compat for GlibEventLoop

Raising StopIteration doesn't work with GlibEventLoop, since it catches
all exceptions and logs them. So, just use a boolean expression to
terminate the while loop. This depends on commit
dcb9fab8463996542d06d29bc383f5933bf0d677 so that IpcDaemonTestCase
timeouts work correctly with both EventLoop and GlibEventLoop.

EventLoop: shorten iteration poll if timeouts

This fixes EventLoop.iteration() so that it doesn't poll too long when
there are timeouts registered, since it's not nice to spend a long time
polling for an IO event that might never arrive even though a timeout
may have changed some state that would terminate a timeout loop like
in QueueScheduler.run() or AbstractPollTask._wait_loop(). This makes
EventLoop.iteration() behave more like GlibEventLoop.iteration().

Fix FEATURES=no{doc,info,man} for bug #403181

This has been broken since commit
93b654199a32fc3df1299b030317720b9294b0c3.

repoman: no ChangeLog for Manifest-only commit

Use --echangelog=force to force ChangeLog generation in this case.
See bug #398009.

display_autounmask: highlight config changes

As suggested here:

http://archives.gentoo.org/gentoo-dev/msg_06a47ad55977f4d16bfe18769c6c38b8.xml

GlibEventLoop: use gi.repository.GLib

PollScheduler: add generic _main_loop()

repoman: support PORTAGE_CONFIGROOT, bug 402577

repoman: remove redundant config constructor

Scheduler: cleanup timeout after _main_loop

The way we don't leave an leak a reference to the Scheduler instance
in the global EventLoop instance.

EbuildMerge: add exit_hook to unlock build dir

This is needed since commit 7a6c34cc6bd6eb20a97e05347f87a0157f4ae58a in
order to ensure that the build dir is unlocked before exit listeners
are called. It fixes failures in catalyst stage 1 builds where two
instances of the same package, built sequentially for separate roots,
interfere with eachother's build dir lock.

Use IO_* constants where appropriate.

EventLoop: name poll constants like glib's

It's conceivable the constants could be implementation dependent, so
use glib's generic IO_* names rather than the POLL* names which are
associated specifically with python's select.poll object.

EventLoop: inherit PollConstants

Add global_event_loop() and GlibEventLoop.

This causes all PollScheduler instances within a given process to share
a singleton EventLoop instance, and also makes it possible to swap in
glib's main loop for all portage event loops in the main process.

AsynchronousTask: exit listeners reverse order

This should fix a Scheduler hang which is triggered when that merge
queue, a SequentialTaskQueue, doesn't decrement its merge count until
after other exit listeners have already run.

QueueScheduler: fix for IpcDaemonTestCase

Use a StopIteration exception to jump out of EventLoop.iterate()
before the poll loop.

EventLoop: fix inverted may_block logic

This caused emerge to consume 100% cpu.

Move EventLoop to a separate file.

Use AbstractPollTask._wait_loop() more.

MergeProcess: handle POLLHUP from elog pipe

PollScheduler: remove _poll_loop

We can use iteration() instead, and _poll_loop's exit behavior doesn't
seem practical to emulate with glib.MainLoop.

test_poll: use TaskScheduler

PollScheduler: remove EventLoop._schedule hook

PollScheduler and subclasses be should already be calling
self._schedule() when necessary.

Scheduler: tweak _add_prefetchers

Since commit 4620d6aba1c5c10344e311585516ee43819b703c, the first
prefetcher is started as soon as it's added to the task queue.

SequentialTaskQueue: use finally for _scheduling

Also, remove unecessary _dirty flag.

IpcDaemonTestCase: init start_time earlier

Since commit 4620d6aba1c5c10344e311585516ee43819b703c, the
SequentialTaskQueue.add() method starts the task immediately, so
initialize start_time before that happens.

SequentialTaskQueue: schedule automatically

This is needed to compensate for the removal of _idle_schedule in
commit 8c1fcf5a9ba9fa4d406a4d0cc284fe73a84f5a63, so that the
Scheduler's task queues operate without needing their schedule methods
called inside Scheduler._schedule_tasks().

Scheduler: remove _idle_schedule

This shouldn't be needed, since _schedule() should already be called
automatically when there are any relevant state changes.

EventLoop: use same method names as glib

PollScheduler: don't inherit EventLoop

PollScheduler: split out EventLoop base class

repoman: make SRC_URI.mirror fatal

Thanks to Christian Ruppert <idl0r@gentoo.org> for the suggestion.

repoman: normalize thirdpartymirrors trailing /

AbstractPollTask: use timeout_add

QueueScheduler: tweak timeout handling

PollScheduler: remove _schedule_wait

QueueScheduler: use timeout_add

AbstractPollTask: add _wait_loop method

Use PollScheduler iteration method.

PollScheduler: add iteration method

Scheduler: use idle_add, not _poll override

PollScheduler: implement idle_add

PollScheduler: glib.io_add_watch() compatibility

PollScheduler: timeouts regardless of IO events

Now PollScheduler will execute timeouts predictably, even when there
no IO events being generated. This allows the Scheduler's display
updates to be handled via timeout_add.

Use timeout_add to avoid recursion, bug #402335.

AsynchronousTask: merge _waiting from subclass

PollScheduler: add timeout_add like glib's

This will be useful as a substitute for recursion, in order to avoid
hitting the recursion limit for bug #402335.

spawn: assert that fork returns int type

Remove portage.const._ENABLE_XATTR.

repoman: support git commit --gpg-sign

In order to sign commits with git, you will need Git >=1.7.9 and your
key will have to be configured by `git config user.signingkey key_id`.
Also, the repository will need to have "sign-commits = true" in
metadata/layout.conf. This will fix bug #333687.

Honor repos.conf for overlay priority, bug 402099

Signed-off-by: Zac Medico <zmedico@gentoo.org>

install_qa_check: handle info dir rm failure

This will fix bug #400679.

LinkageMapELF: handle null bytes in NEEDED.ELF.2

This avoids an error from os.stat:
  TypeError: must be encoded string without NULL bytes, not str

Use consistent indentation in output of `emerge -p --columns ${package}`
regardless of ROOT.

Delete needless parentheses.

Don't print ::${repository} for main repository in output of
`emerge -pv ${package}` by default. Add --verbose-main-repo-display
option, which enables printing ::${repository} for main repository.

Apply INSTALL_MASK prior to reading the tree

If this isn't done, collision-protect uses the old cached filelist,
leading to it complaining about things that INSTALL_MASK sorted already.

BUGS=chromium-os:25060
TEST=emerge sudo && emerge chromeos-base

phase-helpers.sh: set -x when emulating yes

This avoids displaying a bunch of garbage in debug mode.

Fix display of installed version for packages, which have multiple slots
installed. Follow-up to commit 8118be36842a2db2eb72538e21a3b343773b3365.

Make the second part of_emerge.resolver.output.Display.verbose_size()
conditional on self.quiet_repo_display instead of earlier returning
if self.quiet_repo_display is False. No functional changes.

Print [${old_version}::${old_repository}] in output of `emerge -pv ${package}`
when ${old_version} is the same as ${new_version}, but ${old_repository} is
different than ${new_repository}.

ecompress: don't rename dir symlink, bug #399595

document --quiet-repo-display

Print ::${repository} in output of `emerge -pv ${package}` by default.
Add --quiet-repo-display option, which enables previous, more quiet output.

Fix --changed-use interaction with bug 297549.

The automatic --binpkg-respect-use code (from bug #297549) was
inappropriately overriding --changed-use and triggering behavior like
--newuse, as reported here:

http://archives.gentoo.org/gentoo-dev/msg_6070ab87737d7e16a5cec2a72c9111fd.xml

man/emerge.1: reference --exclude from --newuse

fix comment garbage from last commit

xml/metadata.py: handle ExpatError

remove stray 'fi' from last commit

_eapi0_src_test: remove redundant FEATURES checks

Support repository dependencies in EAPI="4-python".

portageq metadata: Support repository dependencies.

create_world_atom: multi-repo portdbapi aux_get

This handles a KeyError raised from portdbapi.aux_get() when one of the
repositories has a corrupt ebuild.

add support for compressing debug sections to save space

Since binutils/gdb can compress the .debug* sections with zlib into
.zdebug*, we should be able to save quite a bit of space -- on my
system, I saw /usr/lib/debug/ go from ~20GB to ~7.5GB.

This requires binutils/gdb to be built with USE=zlib which is why
this defaults to off.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

prepstrip: add writable workaround for everyone

The writable issue shows up when using `ebuild` as non-root users
in non-prefix setups.  So always do it.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

egencache: escape newline instead of lstrip

egencache: use textwrap.dedent

Apply INSTALL_MASK prior to collision-protect.

It may be useful to avoid collisions in some scenarios.

dyn_install: skip copy if possible

Also, fix EPREFIX breakage since commit
5d5364e982820fda56db5a40884e1c5f8e784b96.

dyn_package: portable cp args by Mike Frysinger

dyn_package: remove stale PROOT if necessary

Modify PKG_INSTALL_MASK to apply only to binpkg creation.

Primarily useful for certain cases where cros needs to suppress debug
symbols being included for specific pkgs, and/or suppressing binpkgs
from carrying sensitive configuration data, but we still wish for it
to be installed.

BUG=chromium-os:25060
TEST=set PKG_INSTALL_MASK, check ${D} vs what's in the binpkg

Change-Id: I0f81a9e394b7b0b64dbbcbe8d189876cb8421dfa

test_config: fix AttributeError: 'str'

depgraph: account for unevaluated_atom in cache

depgraph: unevaluated parent atom in debug output

Add --human-readable to rsync opts for bug 269410

read_corresponding_eapi_file: unicode, bug 398587

quickpkg: add leading ./ to names for bug 398543

DEVELOPING: add "Dependencies" section

DEVELOPING: add "Python Version" section

DEVELOPING: remove section about string module

The module no longer exists since Python 2.7, so by now it should be
obvious that it's obsolete.

portage.debug.trace_handler.__init__(): Fix compatibility with Python 3.

ExtendedAtomDict: fix for python-trace

env_update: ldsoconf_update flag not reliable

The ldsoconf_update flag was not a reliable indicator of whether
or not ldconfig needs to be called, since ld.so.conf can have lines
like "include ld.so.conf.d/*.conf" that pull in outside content which
may have changed without being detected.

Update documentation of EAPI="4-python".

Set REPOSITORY variable in ebuild environment in EAPI="4-python".

Fix location of a comment.