DoebuildSpawnTestCase: also call spawn_nofetch

spawn_nofetch: import portage, bug #451344

Revert "_ctypes: don't cache library, bug #448858"

This reverts commit 9e37cca4f54260bd8c45a3041fcee00938c71649.
As noted in bug #448858, comment #14, dlclose is not called
automatically, so we may as well cache our library handles.
In order to protect ourselves, we use a fork since commit
7ebb2f54877edb28621c33e380f8777b1b1dc201.

Use EventLoop, no SchedulerInterface if possible.

emerge/test_simple.py: override PATH more

Override things that may be unavailable, or may have portability
issues when running tests in exotic environments.

SpawnProcess: handle fcntl ENOTTY for FreeBSD

_emirrordist/main.py: remove extra Config import

FetchTask: use umask for copied files

FetchTask: avoid possible duplicate URI

FetchTask: randomize thirdpartymirrors

FetchTask: log_failure for distfiles digester

FetchIterator: support PORTAGE_CHECKSUM_FILTER

make.conf.5: escape apostropy quote, bug #451118

FetchIterator: use RepoConfig.load_manifest()

_fetch_digester_exit: fix NoneType AttributeError

Makefile: install emirrordist

Add emirrordist, a tool for mirroring distfiles.

Special thanks to Brian Harring, author of the mirror-dist program from
which emirrordist is derived.

Manifest: make distdir argument optional

autounmask: tweak --autounmask-write suggestion

autounmask: show file names for suggested changes

Also, advise the user to examine the proposed config changes carefully.

X-Gentoo-Bug: 450960
X-Gentoo-Bug-URL: https://bugs.gentoo.org/show_bug.cgi?id=450960

SpawnProcess: stdout_fd FD_CLOEXEC

ManifestTask: use PipeLogger for monitoring

Declare regex literal as such.

parseManifest2: handle space in name, bug 450736

PipeLogger: handle file object for input_fd

If 2 make.conf files found, then warn.

This may give a clue to those who unintentionally end up with 2
make.conf files somehow.

MetadataRegen: simplify _iter_every_cp

MetadataRegen: call cp_all for each category

List categories individually, in order to start yielding quicker,
and in order to reduce latency in case of a signal interrupt.

portdbapi.cp_all(): add reverse sort parameter

_keep_scheduling: check _terminated.is_set()

This ensures that scheduling loops terminate as soon as possible after
an interrupt is received.

ManifestScheduler: fix signal interrupt handling

MetadataRegen: portdbapi.cp_all() already sorted

MetadataRegen: fix signal interrupt handling

We have to force it out of the scheduling loop before
_termination_check can have an effect.

Handle os.write() return code with loop.

BinpkgVerifier: use async FileDigester

Add async FileDigester class.

.gitignore: __pycache__/

Add QA_AM_MAINTAINER_MODE for bug #450278.

SchedulerInterface: use loop for proxied attrs

runtests.sh summary: add minimum column width

ebuild-ipc: add FifoWriter class

ebuild-ipc: fix read timeout msg / daemon check

It got disabled in commit 06d31ef00da24352a6614f20bccfc892d2120ed9.

ebuild-ipc: fix waiting message

It got disabled by commit 439151bb5b0bd2ac4c9d2dd218fe377ce0b988e6.

ebuild-ipc: use PipeReader in _receive_reply

ebuild-ipc: use PipeReader in _wait

PipeReader: support plain fd without file obj

test_paren_reduce: disable deprecation warning

Enable FD_CLOEXEC for lock fd.

Enable FD_CLOEXEC for non-blocking pipes.

EventLoop: enable FD_CLOEXEC on epoll fd

portage._internal_caller: use global_event_loop

It's more efficient to use global_event_loop than a local EventLoop
instance, so do that when we know it's safe.

SpawnProcess: support close_fds

_doebuild_spawn: disable close_fds for "depend"

spawn: add close_fds parameter

runTests: portage._internal_caller = True

Add portage._internal_caller var, and use it.

portdbapi: use global_event_loop when safe

emerge --depclean: show atoms in verbose output

resume_depgraph: check for alternative installed

When pruning packages from the merge list, only prune them if the
relevant dependency is not satisfied by an alternative package which
is already installed. This should fix bug #448176, and now there's also
reasons logged for why a particular package is dropped.

depgraph: dynamic deps parallel metadata regen

FakeVartree: split _apply_dynamic_deps method

This will eventually be used for parallelization of aux_get/regen
processes.

repoman: improve thirdpartymirrors output

repoman: tell user which mirror identifiers contain SRC_URI

before the patch:
    $ repoman full

    RepoMan scours the neighborhood...
      metadata.missing              1
       dev-haskell/qthaskellc/metadata.xml
      SRC_URI.mirror                1
       dev-haskell/qthaskellc/qthaskellc-1.1.4.ebuild: 'http://download.berlios.de/' found in thirdpartymirrors

after the patch:
    $ repoman full

    RepoMan scours the neighborhood...
      metadata.missing              1
       dev-haskell/qthaskellc/metadata.xml
      SRC_URI.mirror                1
       dev-haskell/qthaskellc/qthaskellc-1.1.4.ebuild: 'http://download.berlios.de/' found in thirdpartymirrors: 'mirror://berlios'

Signed-off-by: Sergei Trofimovich <slyfox@gentoo.org>

use(): fatal missing IUSE in EAPI 5, bug #449708

repoman: usex check 4-python and 4-slot-abi

repoman: handle EAPI 5 usex, bug #449678

Revert "AsynchronousLock: override _async_wait_cb"

This reverts commit 83cfc04df383b56592b89f1dc58428c0e8d09925.
This override could be bad if the base class needs to call _async_wait
for some reason.

runtests.sh: summarize results for all versions

AsynchronousLock: override _async_wait_cb

test_echangelog: sync year with UpdateChangeLog

The code has to be in sync in order to prevent erroneous test failures
triggered by new year's day timezone differences.

emerge --depclean: clarify unsatisfied atoms

If the atom is unsatisfied due to a USE dep that's only visible in the
unevaluated form, then display the unevaluated form.

_LockThread: use thread-safe EventLoop.idle_add()

AsynchronousTask: _async_wait is thread-safe

EventLoop.iteration: no IO blocking if possible

Avoid blocking for IO if there are any timeout or idle callback events
available to process. This will prevent starvation of the idle
callbacks, which are much more common since commit
a3100be184ba1cac2f672f0a1cadcf01690c6d3f. We don't want these idle
callbacks to be delayed by long periods of IO blocking.

AsynchronousTask: add _async_wait method

For cases where _start returns synchronously, this method is a
convenient way to trigger an asynchronous call to self.wait()
(in order to notify exit listeners), avoiding excessive event
loop recursion (or stack overflow) that synchronous calling of
exit listeners can cause.

Use ctypes in subprocess for bug #448858.

Isolate ctypes usage in a subprocess, in order to avoid potential
problems with stale cached libraries as described in bug #448858,
comment #14 (also see http://bugs.python.org/issue14597).

emerge --select: add -w short option

Use run_main_scheduler where possible.

Add run_main_scheduler helper function.

Use 'with file' more.

This helps to minimize ResourceWarning triggered by ^C with python3.

egencache: fix --strict-manifests=n

_MergeProcess: tweak merge-sync library lookup

The library handle is no longer cached, since commit
9e37cca4f54260bd8c45a3041fcee00938c71649, so skip the LoadLibrary
call and just call find_library instead.

_ctypes: don't cache library, bug #448858

man pages: refer to /etc/portage/make.conf

quickpkg.1: document options, bug #243192

PipeReaderBlockingIO handle threading ImportError

EventLoop.iteration(): avoid busy waiting

In order to avoid blocking forever when may_block is True (the
default), callers must be careful to ensure that at least one of the
following conditions is met:
1) An event source or timeout is registered which is guaranteed
to trigger at least on event (a call to an idle function
only counts as an event if it returns a False value which
causes it to be stop being called)
2) Another thread is guaranteed to call one of the thread-safe
methods which notify iteration to stop waiting (such as
idle_add or timeout_add).
These rules ensure that iteration is able to block until an event
arrives, without doing any busy waiting that would waste CPU time.

This will fix busy waiting which would be triggered by
PopenPipeBlockingIOTestCase when waiting for the thread from
PipeReaderBlockingIO to call idle_add.

Add PipeReaderBlockingIO, Jython experimentation.

merge-sync: handle PyPy syncfs fail, bug #446610

EventLoop: thread-safe idle_add and timeout_add

This may be useful for using threads to handle blocking IO with Jython,
since Jython lacks the fcntl module which is needed for non-blocking IO
(see http://bugs.jython.org/issue1074).

repoman: fix git_supports_gpg_sign

emerge -h: add @ prefix to system and world sets

vardbapi: tweak deprecated constructor param

binarytree: tweak deprecated constructor param

porttree.py: tweak deprecated constructor params

Trigger a DeprecationWarning even when None is passed in for one of the
deprecated parameters, ensuring that any potentially unsafe usage
triggers the warning.

Support subslots in command line arguments.

runtests.sh: add pypy-2.0 to PYTHON_VERSIONS

repoman: exempt virtuals from KEYWORDS.stable

config: clarify that default target_root is /

Rename a private module in preparation for extending its functionality.