Decrement the job count prior to merging a given package (after it's been
built or extracted). This will allow additional jobs to spawn sooner in
some cases when there may be idle resources.

svn path=/main/trunk/; revision=11031

* Wrap calls to PollScheduler._schedule_tasks() with a _schedule() method
  that automatically returns early from any recursive calls that the
  _schedule_tasks() call might trigger. This makes _schedule() safe to call from
  inside exit listeners.

* Call _schedule() inside Scheduler._job_exit() to trigger a new job when
  possible.

* Fix SequentialTaskQueue._task_exit() to avoid a potential KeyError if the
  task had already been removed from self.running_tasks for some reason.

svn path=/main/trunk/; revision=11030

Rename PollScheduler._schedule() to _schedule_wait().

svn path=/main/trunk/; revision=11029

Remember to close file descriptors before returning early from can_poll_pty().

svn path=/main/trunk/; revision=11028

Add missing self.wait() calls when tasks return unsuccessfully.

svn path=/main/trunk/; revision=11027

Set self._mergelist inside Scheduler._calc_resume_list() since it needs to
be set when calling _set_digraph().

svn path=/main/trunk/; revision=11026

Implement a runtime test that checks whether it's possible to use poll() to
read data from a pty device. The test only runs the first time that the
can_poll_pty() function is called (currently happens when the first
PollScheduler instance is created). The test is known to fail on Darwin and
we're not sure how many other kernels might have a similar problem, this
runtime test allows us to avoid having to maintain special cases for various
kernels.

svn path=/main/trunk/; revision=11025

Split out a portage._create_pty_or_pipe() function to avoid duplicate code.

svn path=/main/trunk/; revision=11024

Derive a PtyReaderTestCase from PipeReaderTestCase. This test is expected to
fail on some operating systems such as Darwin that do not support poll() on
pty devices.

svn path=/main/trunk/; revision=11023

Create a test case for the poll loop which uses the loop to read data from a
pipe and assert that the data written to the pipe is identical to the data
read from the pipe. In order to implement this test, several useful classes
have been added:

 * PipeReader

     Reads output from one or more files and saves it in memory,
     for retrieval via the getvalue() method. This is driven by
     the scheduler's poll() loop, so it runs entirely within the
     current process.

 * QueueScheduler

     Add instances of SequentialTaskQueue and then call run().
     The run() method returns when no tasks remain.

 * TaskScheduler

     A simple way to handle scheduling of AsynchrousTask instances. Simply
     add tasks and call run(). The run() method returns when no tasks remain.

svn path=/main/trunk/; revision=11022

* Add a digraph.get() method, analogous to dict.get(),  used to simplify
  Scheduler._pkg().

* Define digraph.__contains__ for containment tests via the "in" operator.

svn path=/main/trunk/; revision=11021

For subclasses of Task, explicitly assign __hash__ = Task.__hash__ for
compatibility with python-2.6_beta. Thanks to Arfrever for reporting.

svn path=/main/trunk/; revision=11020

Fix SpawnProcess.start() to return early and notify exit listeners if the
spawn call fails.

svn path=/main/trunk/; revision=11019

Fix a few typos found with pyflakes. Thanks to Cardoe for reporting.

svn path=/main/trunk/; revision=11018

Copy INHERITED/_eclasses_ handling from portdbapi._metadata_callback() to
portdbapi.aux_get() since it's still needed there or else aux_get won't
properly return INHERITED.

svn path=/main/trunk/; revision=11016

Call settings.reset() in EbuildMetadataPhase.start() since that's what
portdbapi does too before generating metadata, and without it, a previous
CATEGORY can leak into the ebuild env and corrupt it (breaks lots of packages
that reference $CATEGORY).

svn path=/main/trunk/; revision=11015

Document the new --jobs and --load-average options for parallelization.

svn path=/main/trunk/; revision=11014

Refactor and simplify the main task scheduling and poll loops:

* Make output handlers unregister themselves and call wait() to notify
  exit listeners immediately. This makes the exit listeners more useful
  for scheduling tasks. This makes the poll loop nice an clean because
  it just calls the handlers and then the handlers can do the scheduling
  when necessary.

* Make SequentialTaskQueue.add() and addFront() trigger scheduling
  internally, so that it's more of a chain reaction than something that has
  to be done explicitly.

svn path=/main/trunk/; revision=11013

Add support for parallel --regen, using the existing --jobs and --load-average
options:

 * Split out a PollLoop base class from Scheduler and derive a MetadataRegen
   class to handle parallel scheduling for --regen.

 * Add pordbapi._metadata_process() and _metadata_callback() methods to
   implement asynchronous metadata generation. One method returns an
   EbuildMetadataPhase instance to encapsulate the async task. The other
   method is called to save the metadata when the process completes
   successfully. These methods share code with aux_get to avoid duplicate
   code.

svn path=/main/trunk/; revision=11012

When a package replaces another one, add the corresponding uninstall task
for the replaced package to Scheduler._completed_tasks so that it's properly
accounted for in _dependent_on_scheduled_merges().

svn path=/main/trunk/; revision=11011

Bug #231382 - If the open() call in getconfig() raises an unexpected IOError,
write a message to stderr showing the exact call that failed, including the
path of the file, in order to aid in debugging.

svn path=/main/trunk/; revision=11010

Make digestcheck() skip the "checking ebuild checksums" part when fetching in
the background.

svn path=/main/trunk/; revision=11009

* Fix AsynchronousTask._wait_hook() to prevent potential recursive calls
  triggered when calling exit listeners.

* Make SequentialTaskQueue use exit listeners to trigger scheduling as
  soon as a task exits. This makes it possible for the queues to
  automatically schedule new tasks while scheduler remains in it's
  poll() loop.

svn path=/main/trunk/; revision=11008

* Handle errno.ECHILD and errno.ESRCH from waitpid() and kill() calls. These
  errors commonly occur when ^C is used to kill emerge.

* Remove spawned pids from portage.process.spawned_pids immediately in order
  to avoid a race condition for removing it.

svn path=/main/trunk/; revision=11007

Fix Scheduler._is_restart_necessary() to return False if the replacement
version of portage is the same exact version as the currently running
instance.

svn path=/main/trunk/; revision=11006

Like in Binpkg, cancel or wait for the prefetcher in EbuildBuild.

svn path=/main/trunk/; revision=11005

Bug #231358 - Fix 'NameError: global name 'p' is not defined' in
getmaskingstatus() that's triggered by a conditional in LICENSE.

svn path=/main/trunk/; revision=11004

For parallel-fetch prefetchers, pass fetchonly=1 into the EbuildFetcher
constructor.

svn path=/main/trunk/; revision=11003

Use the EbuildFetcher class to implement async fetch for the EbuildBuild
class. When in background mode, fetch output is logged to emerge-fetch.log.
This solves a problem with calling doebuild(returnpid=1) and then doebuild
calling fetch() synchronously. In that case, doebuild would return an int
if fetch() failed (including when running pkg_nofetch), which would lead
to a TypeError since doebuild(returnpid=1) is supposed to return a list
containing a spawned pid.

svn path=/main/trunk/; revision=11002

 * Unify the scheduler's "build" and "extract" queues into a single
   "jobs" queue.

 * Add support for logging fetches to /var/log/emerge-fetch.log when
   --jobs is enabled. Previously this log was only used for
   the parallel-fetch feature but now it's also used for --jobs.
   The scheduler's "prefetch" queue has been renamed to "fetch" since
   it's not exclusively used for parallel-fetch anymore.

 * Pass the "background" parameter from Binpkg in to the BinpkgFetcher
   instance, to send output to emerge-fetch.log instead of stdout.

svn path=/main/trunk/; revision=10999

Fix SubProcess._poll to handle a missing pid gracefully.

svn path=/main/trunk/; revision=10998

Fix Scheduler._choose_pkg() to perform uninstallation actions (due to
blockers) in the correct order when building in parallel.

svn path=/main/trunk/; revision=10996

Fix _prune_digraph() to correctly distinguish "nomerge" nodes from
"uninstall" nodes.

svn path=/main/trunk/; revision=10995

* Fix _choose_pkg() to pop the first node if there are no other jobs running.
* Allow _choose_pkg() to choose an uninstall node when it reaches the front
  of the queue. TODO: fix order for uninstall operations.
* Fix _dependent_on_scheduled_merges() to handle direct circular deps
  correctly.

svn path=/main/trunk/; revision=10994

Make the "tight loop" assertion trigger whenever there is no state change
detected for a given _schedule_main() call.

svn path=/main/trunk/; revision=10993

In scheduler._schedule_main(), only consider a poll() event to be a state
change if it results in a handler being unregistered.

svn path=/main/trunk/; revision=10992

Fix Scheduler._dependent_on_scheduled_merges() to properly distinguish
"nomerge" nodes from "uninstall" nodes.

svn path=/main/trunk/; revision=10991

Remove redundant call to _schedule_main().

svn path=/main/trunk/; revision=10990

* Call self._wait() when unregistering output handlers, in order to avoid
  triggering a tight loop. Also fix Subprocess._wait() to only schedule
  when self.registered is True.

* Add an assertion inside Scheduler._schedule_main() to try and detect tight
  loops like the one above.

* Fix typo in Scheduler._merge_exit().

svn path=/main/trunk/; revision=10989

Derive PackageMerge from AsynchronousTask instead of CompositeTask since
CompositeTask is designed for self._current_task to be set.

svn path=/main/trunk/; revision=10988

Raise an AssertionError in CompositeTask._wait() if it's detected that
self._current_task hasn't been properly updated after calling wait on
it.

svn path=/main/trunk/; revision=10987

Fix infinite loop in CompositeTask._wait().

svn path=/main/trunk/; revision=10986

Fix ValueError triggered when Scheduler._choose_pkg() doesn't find a package
and returns None.

svn path=/main/trunk/; revision=10985

Use a normal list instead of a deque for Scheduler._pkg_queue since deque
doesn't have a remove() method until python-2.5.

svn path=/main/trunk/; revision=10984

Implement parallel build support by adding new --jobs and --load-average
options that are analogous to the corresponding `make` options. Input and
output handling still need work to make it look better and act more friendly
for things like interactive ebuilds that require input.

svn path=/main/trunk/; revision=10983

* Add background support to the SpawProcess class.
* Make Binpkg pass the current background setting into subtasks.

svn path=/main/trunk/; revision=10982

Add AsynchronousTask.background attribute and add support for it to the
EbuildPhase class.

svn path=/main/trunk/; revision=10981

Also add "background" attributes to the EbuildBuild and Binpkg classes.

svn path=/main/trunk/; revision=10980

Add a MergeListItem.background attribute for putting a task in the background
when max_jobs > 1.

svn path=/main/trunk/; revision=10979

Add a missing check in Scheduler._main_loop() to ensure that max_jobs
isn't exceeded.

svn path=/main/trunk/; revision=10978

Use plain sequential search for the SRC_URI.mirror check since the regex
approach is actually much slower.

svn path=/main/trunk/; revision=10977

Add a Scheduler._digraph attribute for use in parallel build scheduling.

svn path=/main/trunk/; revision=10976

Rename SubProcess.reg_id to _reg_id since it no longer needs to be exposed.

svn path=/main/trunk/; revision=10975

* Add new CompositeTask._default_final_exit() method and use it as the new
  generic task exit callback.

* Remove erroneous self.wait() calls inside MergeListItem.start().

svn path=/main/trunk/; revision=10974

Add a new "SRC_URI.mirror" check which checks to if a uri listed in
profiles/thirdpartymirrors is found in SRC_URI. Thanks to Betelgeuse for
the initial patch which has now been optimized with a regex.

svn path=/main/trunk/; revision=10973

Move the "registered" attribute to the SubProcess class too.

svn path=/main/trunk/; revision=10971

Make SubProcess._wait() call scheduler.schedule(self.reg_id) so it's
encapsulated and callers don't have to know about it.

svn path=/main/trunk/; revision=10970

remove TODO list as it's not maintained anyway

svn path=/main/trunk/; revision=10969

* Implement CompositeTask._poll().
* Make AsynchronousTask classes call self.wait() to notify
  exit listeners.
* Rewrite Scheduler._main_loop() to bring it closer to allowing
  parallel build scheduling.

svn path=/main/trunk/; revision=10966

Fix broken code in AsynchronousTask.poll().

svn path=/main/trunk/; revision=10965

Fix EbuildPhase._set_returncode() so that it correctly updates the returncode
attrbute instead of just a local variable.

svn path=/main/trunk/; revision=10964

Fix typo in Binpkg.start() which prevents --genbinpkg prefetcher sync
from working properly in some cases.

svn path=/main/trunk/; revision=10963

* Implement MergeListItem._poll() and _wait().
* Fix BinpkgVerifier.start() to call wait() since it's not asynchronous.

svn path=/main/trunk/; revision=10962

Add a PackageMerge class to serve as an asynchronous interface to package
merges. For now it executes synchronously inside the start() method.

svn path=/main/trunk/; revision=10961

Add async support to MergeListItem.

svn path=/main/trunk/; revision=10960

Add async support to the Binpkg class.

svn path=/main/trunk/; revision=10959

Make BinpkgFetcher send output directly to stdout when appropriate,
so that wget's progress bar works normally.

svn path=/main/trunk/; revision=10958

Fix parent class constructor call in the BinpkgFetcher constructor.

svn path=/main/trunk/; revision=10957

Make AsynchronousTask subclasses override _wait() and _poll() so that calls
to public methods can be wrapped for implementing hooks such as exit listener
notification.

svn path=/main/trunk/; revision=10956

Fix --getbinpkg to inject downloaded packages into the local bintree.

svn path=/main/trunk/; revision=10955

* Fix broke return code handling from previous commit, in
  MergeListItem.execute().
* Fix TaskSequence._task_exit_handler() so it won't call
  final_exit() if _default_exit() has already set
  self._current_task to None.

svn path=/main/trunk/; revision=10954

Add async support to EbuildBuild, and an synchronous install() method.

svn path=/main/trunk/; revision=10953

Split out a CompositeTask._start_task() for subclasses to use as a generic
way to start a task.

svn path=/main/trunk/; revision=10952

Add CompositeTask._final_exit() method and use it to fix breakage from the
previous commit.

svn path=/main/trunk/; revision=10951

Split out a reusable CompositeTask._default_exit() method that subclasses
can use as a generic task exit callback.

svn path=/main/trunk/; revision=10950

Add a CompositeTask._assert_current() method that asynchronous callbacks
can use detect possible bugs.

svn path=/main/trunk/; revision=10949

Fix typo in xterm titles total package count which causes it to show the
current package instead. Thanks to Arfrever for this patch.

svn path=/main/trunk/; revision=10948

* Fix AsynchronousTask.poll() to call _wait_hook() when necessary.
* Use the default poll() and cancel() implementations for BinpkgVerifier.

svn path=/main/trunk/; revision=10947

Call _wait_hook() from poll() if the wait call occurs there.

svn path=/main/trunk/; revision=10946

Correct TaskSequence docstring to refer to the addExitListener() method.

svn path=/main/trunk/; revision=10945

Thanks to Ali Polatel <hawking@g.o> for this patch to fix broken indentation.

svn path=/main/trunk/; revision=10944

Split out common code from CompositeTask and EbuildExecuter into a new
CompositeTask class and rename the old CompositeTask class to TaskSequence.

svn path=/main/trunk/; revision=10943

Make EbuildExecuter inherit from AsynchronousTask.

svn path=/main/trunk/; revision=10942

Fix CompositeTask.cancel() so that it's safe to call when there is no
running task.

svn path=/main/trunk/; revision=10941

Add a new CompositeTask class which can be used to combine separate
AsynchronousTask instances into a single instance. The CompositeTask
instance used task exit listeners as a means to (asynchronously) trigger
progression from one subtask to the next. This technique is used to
group together all the ebuild phases executed by EbuildExecuter, and
should be useful for grouping many more sets of tasks into similar
composite tasks.

svn path=/main/trunk/; revision=10940

Add async support to EbuildBinpkg by making it inherit from EbuildPhase.

svn path=/main/trunk/; revision=10939

Use the EbuildPhase class to execute the "clean" phase asynchronously.

svn path=/main/trunk/; revision=10938

Remove unused variable.

svn path=/main/trunk/; revision=10937

Rename BinpkgFetcherAsync class to BinpkgFetcher and use it to replace the
older class with the same name

svn path=/main/trunk/; revision=10936

* Implement a new binarytree.digestCheck() method and use it to check
  digests for binary packages.

* Split out a AsynchronousTask base class from SubProcess.

* Derive a new BinpkgVerifier class from AsynchronousTask. Even though
  this is not really asynchronous yet, it can fake the interface by
  doing everything in the start() method.

svn path=/main/trunk/; revision=10935

Make Binpkg inherit from EbuildBuildDir since it's going to hold
the build dir lock while it runs asynchronously.

svn path=/main/trunk/; revision=10934

Make EbuildBuild inherit from EbuildBuildDir since it's going to hold
the build dir lock while it runs asynchronously.

svn path=/main/trunk/; revision=10933

Convert EbuildFetcher to an asynchronous interface:
* Rename EbuildFetcher to EbuildFetchPretend.
* Rename EbuildFetcherAsync to EbuildFetcher.

svn path=/main/trunk/; revision=10932

TODO: For parallel scheduling, everything in MergeListItem needs
asynchronous execution support (start, poll, and wait methods).

svn path=/main/trunk/; revision=10931

Add a PollConstants class to serve as a layer of indirection for accessing
select.POLL* attributes which do not exist on interix. Thanks to grobian
for reporting.

svn path=/main/trunk/; revision=10930

Bug #230525 - Work around ObjectProxy breakage in `portageq vdb_path`.

svn path=/main/trunk/; revision=10929

In --keep-going mode, display the new merge list when appropriate.

svn path=/main/trunk/; revision=10928

Split a _main_loop() method out of Scheduler._merge().

svn path=/main/trunk/; revision=10927

Split out a Scheduler._execute_pkg() method from _merge().

svn path=/main/trunk/; revision=10926

Rename PollSelectFallback to PollSelectAdapter.

svn path=/main/trunk/; revision=10925