Add some cross references between emerge's new parallel build options and
MAKEOPTS.

svn path=/main/trunk/; revision=11063

Make EbuildFetcher copy FETCHCOMMAND and RESUMECOMMAND to the fetch
environment, in case the default values have been overridden.

svn path=/main/trunk/; revision=11062

In Scheduler._restart_if_necessary(), use list.remove() instead of assuming
that portage is first in the resume list.

svn path=/main/trunk/; revision=11061

Since lots of packages will have to be fixed before stable portage can abort
with "this code is not 64bit clean", convert the die call to an eerror message
instructing the user to file a bug at bugs.gentoo.org. This should allow us
to stabilize portage-2.2 without having to ensure that the entire stable tree
is 64 bit clean first.

svn path=/main/trunk/; revision=11057

When packages fail with --jobs > 1 and the "echo" elog module is not enabled,
emulate elog's mod_echo module to show the 'error' level messages, which should
include the important die message. This is implemented by adding a private
hook inside elog_process() which the scheduler uses to collect error messages.

svn path=/main/trunk/; revision=11056

When there is more than one failure, show a summary packages that failed to
build or install. This is especially useful when using --jobs or --keep-going
since there can be multiple failures.

svn path=/main/trunk/; revision=11055

* Fix --keep-going breakage that occured when Scheduler._choose_pkg() was
  introduced.

* Handle multiple failed builds when buildinding in parallel.

* Fix Scheduler._do_merge_exit() to remove the correct package since it's
  not always at position 0 when using --jobs.

in parallel, so

svn path=/main/trunk/; revision=11054

Make AsynchronousTask "registered" attributes private since poll() and wait()
do the job now. Also, hide SubProcess.files since there's no reason to expose
it.

svn path=/main/trunk/; revision=11053

Use self.registered to return early from SubProcess.poll() when possible,
and remove the related code from SequentialTaskQueue.schedule() since
this makes it obsolete.

svn path=/main/trunk/; revision=11052

Add a PollScheduler._next_poll_event() method to maintain a central event
queue between _poll_loop() and _schedule_wait(). This solves an intermittent
KeyError from _poll_loop() which occured when an event handler called
_schedule_wait() which unregistered an event handler for an event that
_poll_loop() had already recieved but hadn't processed yet.

svn path=/main/trunk/; revision=11051

Split out a _main_loop_cleanup() method from Scheduler._merge() and call it
before restarting in _restart_if_necessary() to kill any parallel-fetch tasks
that may still be running.

svn path=/main/trunk/; revision=11050

Split out a generic SubProcess._unregister() method that's called from
_wait() to make sure everything is cleaned up before wait() returns.
This might solve an intermittent KeyError that is sometimes raised from
the main poll() loop when a handler is no longer registered for a poll()
event that has occurred.

svn path=/main/trunk/; revision=11049

Unregister from poll() objects before closing file in order to hopefully
avoid stale events that can trigger a KeyError in Scheduler._poll_loop()
if the event's file descriptor no longer has a registered handler.

svn path=/main/trunk/; revision=11047

Call prepare_build_dirs() prior to pkg_preinst so that logging works
properly.

svn path=/main/trunk/; revision=11046

* Fix doebuild so "returnpid" works for preinst and postinst.
* Add async support for pkg_prerm and pkg_postrm.
* Add missing "treetype" parameter to dblink constructor calls.
* Fix SubProcess._wait() to check self.returncode _after_ calling
  the scheduler.

svn path=/main/trunk/; revision=11045

Add async execution support for pkg_preinst and pkg_postinst. This allows the
scheduler's poll loop to run so that other parallel tasks aren't starved for
output handling while pkg_preinst and pkg_postinst are executing.

svn path=/main/trunk/; revision=11044

Remove redundant failed_packages check from Scheduler._main_loop() since
it's now handled inside the _schedule() call.

svn path=/main/trunk/; revision=11043

Ensure that that Scheduler._main_loop() doesn't return before the merge
queue is empty.

svn path=/main/trunk/; revision=11042

Remove all traces of the "poll" parameter for the PollScheduler constructor
since it was only used by can_poll_pty().

svn path=/main/trunk/; revision=11040

* Since can_poll_pty() is unsafe due to he possibility of the poll() call
  blocking forever, replace it with a simpler test on /dev/null that's
  derived from a test in a glib2 configure script.

* Remove PtyReaderTestCase since it has the same problem as can_poll_pty().

svn path=/main/trunk/; revision=11039

In can_poll_tty(), direct bash's stderr into the pty since we don't want
so see any error message it generates (due to PipeReader closing it's
end of the pty). The error message is irrelevant since all we want to
know is whether or not the data is successfully transmitted through the
pty.

svn path=/main/trunk/; revision=11037

Changes to pym/_emerge/__init__.py from the previous commit weren't meant
to be committed yet.

svn path=/main/trunk/; revision=11035

Fix broken binpkg path comparison in in binarytree.inject() so that duplicate
entries are correctly from the Packages index.

svn path=/main/trunk/; revision=11034

In order to avoid having BlockerDB instantiate a new FakeVartree for each
merge, add a FakeVartree.sync() method and so that the same FakeVartree
can be reused. Package counters and timestamps are used to validate package
instances during each sync() call.

svn path=/main/trunk/; revision=11033

Fix Scheduler._schedule_tasks() so that it never schedules a task when a
package has already failed.

svn path=/main/trunk/; revision=11032

Decrement the job count prior to merging a given package (after it's been
built or extracted). This will allow additional jobs to spawn sooner in
some cases when there may be idle resources.

svn path=/main/trunk/; revision=11031

* Wrap calls to PollScheduler._schedule_tasks() with a _schedule() method
  that automatically returns early from any recursive calls that the
  _schedule_tasks() call might trigger. This makes _schedule() safe to call from
  inside exit listeners.

* Call _schedule() inside Scheduler._job_exit() to trigger a new job when
  possible.

* Fix SequentialTaskQueue._task_exit() to avoid a potential KeyError if the
  task had already been removed from self.running_tasks for some reason.

svn path=/main/trunk/; revision=11030

Rename PollScheduler._schedule() to _schedule_wait().

svn path=/main/trunk/; revision=11029

Remember to close file descriptors before returning early from can_poll_pty().

svn path=/main/trunk/; revision=11028

Add missing self.wait() calls when tasks return unsuccessfully.

svn path=/main/trunk/; revision=11027

Set self._mergelist inside Scheduler._calc_resume_list() since it needs to
be set when calling _set_digraph().

svn path=/main/trunk/; revision=11026

Implement a runtime test that checks whether it's possible to use poll() to
read data from a pty device. The test only runs the first time that the
can_poll_pty() function is called (currently happens when the first
PollScheduler instance is created). The test is known to fail on Darwin and
we're not sure how many other kernels might have a similar problem, this
runtime test allows us to avoid having to maintain special cases for various
kernels.

svn path=/main/trunk/; revision=11025

Split out a portage._create_pty_or_pipe() function to avoid duplicate code.

svn path=/main/trunk/; revision=11024

Derive a PtyReaderTestCase from PipeReaderTestCase. This test is expected to
fail on some operating systems such as Darwin that do not support poll() on
pty devices.

svn path=/main/trunk/; revision=11023

Create a test case for the poll loop which uses the loop to read data from a
pipe and assert that the data written to the pipe is identical to the data
read from the pipe. In order to implement this test, several useful classes
have been added:

 * PipeReader

     Reads output from one or more files and saves it in memory,
     for retrieval via the getvalue() method. This is driven by
     the scheduler's poll() loop, so it runs entirely within the
     current process.

 * QueueScheduler

     Add instances of SequentialTaskQueue and then call run().
     The run() method returns when no tasks remain.

 * TaskScheduler

     A simple way to handle scheduling of AsynchrousTask instances. Simply
     add tasks and call run(). The run() method returns when no tasks remain.

svn path=/main/trunk/; revision=11022

* Add a digraph.get() method, analogous to dict.get(),  used to simplify
  Scheduler._pkg().

* Define digraph.__contains__ for containment tests via the "in" operator.

svn path=/main/trunk/; revision=11021

For subclasses of Task, explicitly assign __hash__ = Task.__hash__ for
compatibility with python-2.6_beta. Thanks to Arfrever for reporting.

svn path=/main/trunk/; revision=11020

Fix SpawnProcess.start() to return early and notify exit listeners if the
spawn call fails.

svn path=/main/trunk/; revision=11019

Fix a few typos found with pyflakes. Thanks to Cardoe for reporting.

svn path=/main/trunk/; revision=11018

Copy INHERITED/_eclasses_ handling from portdbapi._metadata_callback() to
portdbapi.aux_get() since it's still needed there or else aux_get won't
properly return INHERITED.

svn path=/main/trunk/; revision=11016

Call settings.reset() in EbuildMetadataPhase.start() since that's what
portdbapi does too before generating metadata, and without it, a previous
CATEGORY can leak into the ebuild env and corrupt it (breaks lots of packages
that reference $CATEGORY).

svn path=/main/trunk/; revision=11015

Document the new --jobs and --load-average options for parallelization.

svn path=/main/trunk/; revision=11014

Refactor and simplify the main task scheduling and poll loops:

* Make output handlers unregister themselves and call wait() to notify
  exit listeners immediately. This makes the exit listeners more useful
  for scheduling tasks. This makes the poll loop nice an clean because
  it just calls the handlers and then the handlers can do the scheduling
  when necessary.

* Make SequentialTaskQueue.add() and addFront() trigger scheduling
  internally, so that it's more of a chain reaction than something that has
  to be done explicitly.

svn path=/main/trunk/; revision=11013

Add support for parallel --regen, using the existing --jobs and --load-average
options:

 * Split out a PollLoop base class from Scheduler and derive a MetadataRegen
   class to handle parallel scheduling for --regen.

 * Add pordbapi._metadata_process() and _metadata_callback() methods to
   implement asynchronous metadata generation. One method returns an
   EbuildMetadataPhase instance to encapsulate the async task. The other
   method is called to save the metadata when the process completes
   successfully. These methods share code with aux_get to avoid duplicate
   code.

svn path=/main/trunk/; revision=11012

When a package replaces another one, add the corresponding uninstall task
for the replaced package to Scheduler._completed_tasks so that it's properly
accounted for in _dependent_on_scheduled_merges().

svn path=/main/trunk/; revision=11011

Bug #231382 - If the open() call in getconfig() raises an unexpected IOError,
write a message to stderr showing the exact call that failed, including the
path of the file, in order to aid in debugging.

svn path=/main/trunk/; revision=11010

Make digestcheck() skip the "checking ebuild checksums" part when fetching in
the background.

svn path=/main/trunk/; revision=11009

* Fix AsynchronousTask._wait_hook() to prevent potential recursive calls
  triggered when calling exit listeners.

* Make SequentialTaskQueue use exit listeners to trigger scheduling as
  soon as a task exits. This makes it possible for the queues to
  automatically schedule new tasks while scheduler remains in it's
  poll() loop.

svn path=/main/trunk/; revision=11008

* Handle errno.ECHILD and errno.ESRCH from waitpid() and kill() calls. These
  errors commonly occur when ^C is used to kill emerge.

* Remove spawned pids from portage.process.spawned_pids immediately in order
  to avoid a race condition for removing it.

svn path=/main/trunk/; revision=11007

Fix Scheduler._is_restart_necessary() to return False if the replacement
version of portage is the same exact version as the currently running
instance.

svn path=/main/trunk/; revision=11006

Like in Binpkg, cancel or wait for the prefetcher in EbuildBuild.

svn path=/main/trunk/; revision=11005

Bug #231358 - Fix 'NameError: global name 'p' is not defined' in
getmaskingstatus() that's triggered by a conditional in LICENSE.

svn path=/main/trunk/; revision=11004

For parallel-fetch prefetchers, pass fetchonly=1 into the EbuildFetcher
constructor.

svn path=/main/trunk/; revision=11003

Use the EbuildFetcher class to implement async fetch for the EbuildBuild
class. When in background mode, fetch output is logged to emerge-fetch.log.
This solves a problem with calling doebuild(returnpid=1) and then doebuild
calling fetch() synchronously. In that case, doebuild would return an int
if fetch() failed (including when running pkg_nofetch), which would lead
to a TypeError since doebuild(returnpid=1) is supposed to return a list
containing a spawned pid.

svn path=/main/trunk/; revision=11002

 * Unify the scheduler's "build" and "extract" queues into a single
   "jobs" queue.

 * Add support for logging fetches to /var/log/emerge-fetch.log when
   --jobs is enabled. Previously this log was only used for
   the parallel-fetch feature but now it's also used for --jobs.
   The scheduler's "prefetch" queue has been renamed to "fetch" since
   it's not exclusively used for parallel-fetch anymore.

 * Pass the "background" parameter from Binpkg in to the BinpkgFetcher
   instance, to send output to emerge-fetch.log instead of stdout.

svn path=/main/trunk/; revision=10999

Fix SubProcess._poll to handle a missing pid gracefully.

svn path=/main/trunk/; revision=10998

Fix Scheduler._choose_pkg() to perform uninstallation actions (due to
blockers) in the correct order when building in parallel.

svn path=/main/trunk/; revision=10996

Fix _prune_digraph() to correctly distinguish "nomerge" nodes from
"uninstall" nodes.

svn path=/main/trunk/; revision=10995

* Fix _choose_pkg() to pop the first node if there are no other jobs running.
* Allow _choose_pkg() to choose an uninstall node when it reaches the front
  of the queue. TODO: fix order for uninstall operations.
* Fix _dependent_on_scheduled_merges() to handle direct circular deps
  correctly.

svn path=/main/trunk/; revision=10994

Make the "tight loop" assertion trigger whenever there is no state change
detected for a given _schedule_main() call.

svn path=/main/trunk/; revision=10993

In scheduler._schedule_main(), only consider a poll() event to be a state
change if it results in a handler being unregistered.

svn path=/main/trunk/; revision=10992

Fix Scheduler._dependent_on_scheduled_merges() to properly distinguish
"nomerge" nodes from "uninstall" nodes.

svn path=/main/trunk/; revision=10991

Remove redundant call to _schedule_main().

svn path=/main/trunk/; revision=10990

* Call self._wait() when unregistering output handlers, in order to avoid
  triggering a tight loop. Also fix Subprocess._wait() to only schedule
  when self.registered is True.

* Add an assertion inside Scheduler._schedule_main() to try and detect tight
  loops like the one above.

* Fix typo in Scheduler._merge_exit().

svn path=/main/trunk/; revision=10989

Derive PackageMerge from AsynchronousTask instead of CompositeTask since
CompositeTask is designed for self._current_task to be set.

svn path=/main/trunk/; revision=10988

Raise an AssertionError in CompositeTask._wait() if it's detected that
self._current_task hasn't been properly updated after calling wait on
it.

svn path=/main/trunk/; revision=10987

Fix infinite loop in CompositeTask._wait().

svn path=/main/trunk/; revision=10986

Fix ValueError triggered when Scheduler._choose_pkg() doesn't find a package
and returns None.

svn path=/main/trunk/; revision=10985

Use a normal list instead of a deque for Scheduler._pkg_queue since deque
doesn't have a remove() method until python-2.5.

svn path=/main/trunk/; revision=10984

Implement parallel build support by adding new --jobs and --load-average
options that are analogous to the corresponding `make` options. Input and
output handling still need work to make it look better and act more friendly
for things like interactive ebuilds that require input.

svn path=/main/trunk/; revision=10983

* Add background support to the SpawProcess class.
* Make Binpkg pass the current background setting into subtasks.

svn path=/main/trunk/; revision=10982

Add AsynchronousTask.background attribute and add support for it to the
EbuildPhase class.

svn path=/main/trunk/; revision=10981

Also add "background" attributes to the EbuildBuild and Binpkg classes.

svn path=/main/trunk/; revision=10980

Add a MergeListItem.background attribute for putting a task in the background
when max_jobs > 1.

svn path=/main/trunk/; revision=10979

Add a missing check in Scheduler._main_loop() to ensure that max_jobs
isn't exceeded.

svn path=/main/trunk/; revision=10978

Use plain sequential search for the SRC_URI.mirror check since the regex
approach is actually much slower.

svn path=/main/trunk/; revision=10977

Add a Scheduler._digraph attribute for use in parallel build scheduling.

svn path=/main/trunk/; revision=10976

Rename SubProcess.reg_id to _reg_id since it no longer needs to be exposed.

svn path=/main/trunk/; revision=10975

* Add new CompositeTask._default_final_exit() method and use it as the new
  generic task exit callback.

* Remove erroneous self.wait() calls inside MergeListItem.start().

svn path=/main/trunk/; revision=10974

Add a new "SRC_URI.mirror" check which checks to if a uri listed in
profiles/thirdpartymirrors is found in SRC_URI. Thanks to Betelgeuse for
the initial patch which has now been optimized with a regex.

svn path=/main/trunk/; revision=10973

Move the "registered" attribute to the SubProcess class too.

svn path=/main/trunk/; revision=10971

Make SubProcess._wait() call scheduler.schedule(self.reg_id) so it's
encapsulated and callers don't have to know about it.

svn path=/main/trunk/; revision=10970

remove TODO list as it's not maintained anyway

svn path=/main/trunk/; revision=10969

* Implement CompositeTask._poll().
* Make AsynchronousTask classes call self.wait() to notify
  exit listeners.
* Rewrite Scheduler._main_loop() to bring it closer to allowing
  parallel build scheduling.

svn path=/main/trunk/; revision=10966

Fix broken code in AsynchronousTask.poll().

svn path=/main/trunk/; revision=10965

Fix EbuildPhase._set_returncode() so that it correctly updates the returncode
attrbute instead of just a local variable.

svn path=/main/trunk/; revision=10964

Fix typo in Binpkg.start() which prevents --genbinpkg prefetcher sync
from working properly in some cases.

svn path=/main/trunk/; revision=10963

* Implement MergeListItem._poll() and _wait().
* Fix BinpkgVerifier.start() to call wait() since it's not asynchronous.

svn path=/main/trunk/; revision=10962

Add a PackageMerge class to serve as an asynchronous interface to package
merges. For now it executes synchronously inside the start() method.

svn path=/main/trunk/; revision=10961

Add async support to MergeListItem.

svn path=/main/trunk/; revision=10960

Add async support to the Binpkg class.

svn path=/main/trunk/; revision=10959

Make BinpkgFetcher send output directly to stdout when appropriate,
so that wget's progress bar works normally.

svn path=/main/trunk/; revision=10958

Fix parent class constructor call in the BinpkgFetcher constructor.

svn path=/main/trunk/; revision=10957

Make AsynchronousTask subclasses override _wait() and _poll() so that calls
to public methods can be wrapped for implementing hooks such as exit listener
notification.

svn path=/main/trunk/; revision=10956

Fix --getbinpkg to inject downloaded packages into the local bintree.

svn path=/main/trunk/; revision=10955

* Fix broke return code handling from previous commit, in
  MergeListItem.execute().
* Fix TaskSequence._task_exit_handler() so it won't call
  final_exit() if _default_exit() has already set
  self._current_task to None.

svn path=/main/trunk/; revision=10954

Add async support to EbuildBuild, and an synchronous install() method.

svn path=/main/trunk/; revision=10953

Split out a CompositeTask._start_task() for subclasses to use as a generic
way to start a task.

svn path=/main/trunk/; revision=10952

Add CompositeTask._final_exit() method and use it to fix breakage from the
previous commit.

svn path=/main/trunk/; revision=10951

Split out a reusable CompositeTask._default_exit() method that subclasses
can use as a generic task exit callback.

svn path=/main/trunk/; revision=10950