Call settings.reset() in EbuildMetadataPhase.start() since that's what
portdbapi does too before generating metadata, and without it, a previous
CATEGORY can leak into the ebuild env and corrupt it (breaks lots of packages
that reference $CATEGORY).

svn path=/main/trunk/; revision=11015

Document the new --jobs and --load-average options for parallelization.

svn path=/main/trunk/; revision=11014

Refactor and simplify the main task scheduling and poll loops:

* Make output handlers unregister themselves and call wait() to notify
  exit listeners immediately. This makes the exit listeners more useful
  for scheduling tasks. This makes the poll loop nice an clean because
  it just calls the handlers and then the handlers can do the scheduling
  when necessary.

* Make SequentialTaskQueue.add() and addFront() trigger scheduling
  internally, so that it's more of a chain reaction than something that has
  to be done explicitly.

svn path=/main/trunk/; revision=11013

Add support for parallel --regen, using the existing --jobs and --load-average
options:

 * Split out a PollLoop base class from Scheduler and derive a MetadataRegen
   class to handle parallel scheduling for --regen.

 * Add pordbapi._metadata_process() and _metadata_callback() methods to
   implement asynchronous metadata generation. One method returns an
   EbuildMetadataPhase instance to encapsulate the async task. The other
   method is called to save the metadata when the process completes
   successfully. These methods share code with aux_get to avoid duplicate
   code.

svn path=/main/trunk/; revision=11012

When a package replaces another one, add the corresponding uninstall task
for the replaced package to Scheduler._completed_tasks so that it's properly
accounted for in _dependent_on_scheduled_merges().

svn path=/main/trunk/; revision=11011

Bug #231382 - If the open() call in getconfig() raises an unexpected IOError,
write a message to stderr showing the exact call that failed, including the
path of the file, in order to aid in debugging.

svn path=/main/trunk/; revision=11010

Make digestcheck() skip the "checking ebuild checksums" part when fetching in
the background.

svn path=/main/trunk/; revision=11009

* Fix AsynchronousTask._wait_hook() to prevent potential recursive calls
  triggered when calling exit listeners.

* Make SequentialTaskQueue use exit listeners to trigger scheduling as
  soon as a task exits. This makes it possible for the queues to
  automatically schedule new tasks while scheduler remains in it's
  poll() loop.

svn path=/main/trunk/; revision=11008

* Handle errno.ECHILD and errno.ESRCH from waitpid() and kill() calls. These
  errors commonly occur when ^C is used to kill emerge.

* Remove spawned pids from portage.process.spawned_pids immediately in order
  to avoid a race condition for removing it.

svn path=/main/trunk/; revision=11007

Fix Scheduler._is_restart_necessary() to return False if the replacement
version of portage is the same exact version as the currently running
instance.

svn path=/main/trunk/; revision=11006

Like in Binpkg, cancel or wait for the prefetcher in EbuildBuild.

svn path=/main/trunk/; revision=11005

Bug #231358 - Fix 'NameError: global name 'p' is not defined' in
getmaskingstatus() that's triggered by a conditional in LICENSE.

svn path=/main/trunk/; revision=11004

For parallel-fetch prefetchers, pass fetchonly=1 into the EbuildFetcher
constructor.

svn path=/main/trunk/; revision=11003

Use the EbuildFetcher class to implement async fetch for the EbuildBuild
class. When in background mode, fetch output is logged to emerge-fetch.log.
This solves a problem with calling doebuild(returnpid=1) and then doebuild
calling fetch() synchronously. In that case, doebuild would return an int
if fetch() failed (including when running pkg_nofetch), which would lead
to a TypeError since doebuild(returnpid=1) is supposed to return a list
containing a spawned pid.

svn path=/main/trunk/; revision=11002

 * Unify the scheduler's "build" and "extract" queues into a single
   "jobs" queue.

 * Add support for logging fetches to /var/log/emerge-fetch.log when
   --jobs is enabled. Previously this log was only used for
   the parallel-fetch feature but now it's also used for --jobs.
   The scheduler's "prefetch" queue has been renamed to "fetch" since
   it's not exclusively used for parallel-fetch anymore.

 * Pass the "background" parameter from Binpkg in to the BinpkgFetcher
   instance, to send output to emerge-fetch.log instead of stdout.

svn path=/main/trunk/; revision=10999

Fix SubProcess._poll to handle a missing pid gracefully.

svn path=/main/trunk/; revision=10998

Fix Scheduler._choose_pkg() to perform uninstallation actions (due to
blockers) in the correct order when building in parallel.

svn path=/main/trunk/; revision=10996

Fix _prune_digraph() to correctly distinguish "nomerge" nodes from
"uninstall" nodes.

svn path=/main/trunk/; revision=10995

* Fix _choose_pkg() to pop the first node if there are no other jobs running.
* Allow _choose_pkg() to choose an uninstall node when it reaches the front
  of the queue. TODO: fix order for uninstall operations.
* Fix _dependent_on_scheduled_merges() to handle direct circular deps
  correctly.

svn path=/main/trunk/; revision=10994

Make the "tight loop" assertion trigger whenever there is no state change
detected for a given _schedule_main() call.

svn path=/main/trunk/; revision=10993

In scheduler._schedule_main(), only consider a poll() event to be a state
change if it results in a handler being unregistered.

svn path=/main/trunk/; revision=10992

Fix Scheduler._dependent_on_scheduled_merges() to properly distinguish
"nomerge" nodes from "uninstall" nodes.

svn path=/main/trunk/; revision=10991

Remove redundant call to _schedule_main().

svn path=/main/trunk/; revision=10990

* Call self._wait() when unregistering output handlers, in order to avoid
  triggering a tight loop. Also fix Subprocess._wait() to only schedule
  when self.registered is True.

* Add an assertion inside Scheduler._schedule_main() to try and detect tight
  loops like the one above.

* Fix typo in Scheduler._merge_exit().

svn path=/main/trunk/; revision=10989

Derive PackageMerge from AsynchronousTask instead of CompositeTask since
CompositeTask is designed for self._current_task to be set.

svn path=/main/trunk/; revision=10988

Raise an AssertionError in CompositeTask._wait() if it's detected that
self._current_task hasn't been properly updated after calling wait on
it.

svn path=/main/trunk/; revision=10987

Fix infinite loop in CompositeTask._wait().

svn path=/main/trunk/; revision=10986

Fix ValueError triggered when Scheduler._choose_pkg() doesn't find a package
and returns None.

svn path=/main/trunk/; revision=10985

Use a normal list instead of a deque for Scheduler._pkg_queue since deque
doesn't have a remove() method until python-2.5.

svn path=/main/trunk/; revision=10984

Implement parallel build support by adding new --jobs and --load-average
options that are analogous to the corresponding `make` options. Input and
output handling still need work to make it look better and act more friendly
for things like interactive ebuilds that require input.

svn path=/main/trunk/; revision=10983

* Add background support to the SpawProcess class.
* Make Binpkg pass the current background setting into subtasks.

svn path=/main/trunk/; revision=10982

Add AsynchronousTask.background attribute and add support for it to the
EbuildPhase class.

svn path=/main/trunk/; revision=10981

Also add "background" attributes to the EbuildBuild and Binpkg classes.

svn path=/main/trunk/; revision=10980

Add a MergeListItem.background attribute for putting a task in the background
when max_jobs > 1.

svn path=/main/trunk/; revision=10979

Add a missing check in Scheduler._main_loop() to ensure that max_jobs
isn't exceeded.

svn path=/main/trunk/; revision=10978

Use plain sequential search for the SRC_URI.mirror check since the regex
approach is actually much slower.

svn path=/main/trunk/; revision=10977

Add a Scheduler._digraph attribute for use in parallel build scheduling.

svn path=/main/trunk/; revision=10976

Rename SubProcess.reg_id to _reg_id since it no longer needs to be exposed.

svn path=/main/trunk/; revision=10975

* Add new CompositeTask._default_final_exit() method and use it as the new
  generic task exit callback.

* Remove erroneous self.wait() calls inside MergeListItem.start().

svn path=/main/trunk/; revision=10974

Add a new "SRC_URI.mirror" check which checks to if a uri listed in
profiles/thirdpartymirrors is found in SRC_URI. Thanks to Betelgeuse for
the initial patch which has now been optimized with a regex.

svn path=/main/trunk/; revision=10973

Move the "registered" attribute to the SubProcess class too.

svn path=/main/trunk/; revision=10971

Make SubProcess._wait() call scheduler.schedule(self.reg_id) so it's
encapsulated and callers don't have to know about it.

svn path=/main/trunk/; revision=10970

remove TODO list as it's not maintained anyway

svn path=/main/trunk/; revision=10969

* Implement CompositeTask._poll().
* Make AsynchronousTask classes call self.wait() to notify
  exit listeners.
* Rewrite Scheduler._main_loop() to bring it closer to allowing
  parallel build scheduling.

svn path=/main/trunk/; revision=10966

Fix broken code in AsynchronousTask.poll().

svn path=/main/trunk/; revision=10965

Fix EbuildPhase._set_returncode() so that it correctly updates the returncode
attrbute instead of just a local variable.

svn path=/main/trunk/; revision=10964

Fix typo in Binpkg.start() which prevents --genbinpkg prefetcher sync
from working properly in some cases.

svn path=/main/trunk/; revision=10963

* Implement MergeListItem._poll() and _wait().
* Fix BinpkgVerifier.start() to call wait() since it's not asynchronous.

svn path=/main/trunk/; revision=10962

Add a PackageMerge class to serve as an asynchronous interface to package
merges. For now it executes synchronously inside the start() method.

svn path=/main/trunk/; revision=10961

Add async support to MergeListItem.

svn path=/main/trunk/; revision=10960

Add async support to the Binpkg class.

svn path=/main/trunk/; revision=10959

Make BinpkgFetcher send output directly to stdout when appropriate,
so that wget's progress bar works normally.

svn path=/main/trunk/; revision=10958

Fix parent class constructor call in the BinpkgFetcher constructor.

svn path=/main/trunk/; revision=10957

Make AsynchronousTask subclasses override _wait() and _poll() so that calls
to public methods can be wrapped for implementing hooks such as exit listener
notification.

svn path=/main/trunk/; revision=10956

Fix --getbinpkg to inject downloaded packages into the local bintree.

svn path=/main/trunk/; revision=10955

* Fix broke return code handling from previous commit, in
  MergeListItem.execute().
* Fix TaskSequence._task_exit_handler() so it won't call
  final_exit() if _default_exit() has already set
  self._current_task to None.

svn path=/main/trunk/; revision=10954

Add async support to EbuildBuild, and an synchronous install() method.

svn path=/main/trunk/; revision=10953

Split out a CompositeTask._start_task() for subclasses to use as a generic
way to start a task.

svn path=/main/trunk/; revision=10952

Add CompositeTask._final_exit() method and use it to fix breakage from the
previous commit.

svn path=/main/trunk/; revision=10951

Split out a reusable CompositeTask._default_exit() method that subclasses
can use as a generic task exit callback.

svn path=/main/trunk/; revision=10950

Add a CompositeTask._assert_current() method that asynchronous callbacks
can use detect possible bugs.

svn path=/main/trunk/; revision=10949

Fix typo in xterm titles total package count which causes it to show the
current package instead. Thanks to Arfrever for this patch.

svn path=/main/trunk/; revision=10948

* Fix AsynchronousTask.poll() to call _wait_hook() when necessary.
* Use the default poll() and cancel() implementations for BinpkgVerifier.

svn path=/main/trunk/; revision=10947

Call _wait_hook() from poll() if the wait call occurs there.

svn path=/main/trunk/; revision=10946

Correct TaskSequence docstring to refer to the addExitListener() method.

svn path=/main/trunk/; revision=10945

Thanks to Ali Polatel <hawking@g.o> for this patch to fix broken indentation.

svn path=/main/trunk/; revision=10944

Split out common code from CompositeTask and EbuildExecuter into a new
CompositeTask class and rename the old CompositeTask class to TaskSequence.

svn path=/main/trunk/; revision=10943

Make EbuildExecuter inherit from AsynchronousTask.

svn path=/main/trunk/; revision=10942

Fix CompositeTask.cancel() so that it's safe to call when there is no
running task.

svn path=/main/trunk/; revision=10941

Add a new CompositeTask class which can be used to combine separate
AsynchronousTask instances into a single instance. The CompositeTask
instance used task exit listeners as a means to (asynchronously) trigger
progression from one subtask to the next. This technique is used to
group together all the ebuild phases executed by EbuildExecuter, and
should be useful for grouping many more sets of tasks into similar
composite tasks.

svn path=/main/trunk/; revision=10940

Add async support to EbuildBinpkg by making it inherit from EbuildPhase.

svn path=/main/trunk/; revision=10939

Use the EbuildPhase class to execute the "clean" phase asynchronously.

svn path=/main/trunk/; revision=10938

Remove unused variable.

svn path=/main/trunk/; revision=10937

Rename BinpkgFetcherAsync class to BinpkgFetcher and use it to replace the
older class with the same name

svn path=/main/trunk/; revision=10936

* Implement a new binarytree.digestCheck() method and use it to check
  digests for binary packages.

* Split out a AsynchronousTask base class from SubProcess.

* Derive a new BinpkgVerifier class from AsynchronousTask. Even though
  this is not really asynchronous yet, it can fake the interface by
  doing everything in the start() method.

svn path=/main/trunk/; revision=10935

Make Binpkg inherit from EbuildBuildDir since it's going to hold
the build dir lock while it runs asynchronously.

svn path=/main/trunk/; revision=10934

Make EbuildBuild inherit from EbuildBuildDir since it's going to hold
the build dir lock while it runs asynchronously.

svn path=/main/trunk/; revision=10933

Convert EbuildFetcher to an asynchronous interface:
* Rename EbuildFetcher to EbuildFetchPretend.
* Rename EbuildFetcherAsync to EbuildFetcher.

svn path=/main/trunk/; revision=10932

TODO: For parallel scheduling, everything in MergeListItem needs
asynchronous execution support (start, poll, and wait methods).

svn path=/main/trunk/; revision=10931

Add a PollConstants class to serve as a layer of indirection for accessing
select.POLL* attributes which do not exist on interix. Thanks to grobian
for reporting.

svn path=/main/trunk/; revision=10930

Bug #230525 - Work around ObjectProxy breakage in `portageq vdb_path`.

svn path=/main/trunk/; revision=10929

In --keep-going mode, display the new merge list when appropriate.

svn path=/main/trunk/; revision=10928

Split a _main_loop() method out of Scheduler._merge().

svn path=/main/trunk/; revision=10927

Split out a Scheduler._execute_pkg() method from _merge().

svn path=/main/trunk/; revision=10926

Rename PollSelectFallback to PollSelectAdapter.

svn path=/main/trunk/; revision=10925

* Split out a MergeListItem class from Scheduler._execute_task().
* Remove Scheduler._execute_task() and migrate some of it's code
  to Scheduler._merge().
* Fix _world_atom() so that it doesn't add an atom in --oneshot
  mode or similar.

svn path=/main/trunk/; revision=10924

Fix broken references to portage.exception.

svn path=/main/trunk/; revision=10923

Create a Scheduler._task_queues attribute which has "build" and "prefetch"
queues. The build queue is currently unused and the prefetch queue is used
for parallel fetch.

svn path=/main/trunk/; revision=10922

Change the way the way things that have to call the scheduler interact
with it:

 * Return a unique integer id from scheduler.register(), to be passed back
   into other scheduler methods.

 * Control handler unregistration with the handler's return value, like
   some other frameworks do for similar callbacks.

 * Add a SpawnProcess.reg_id attribute to store the id returned from
   scheduler.register()

 * Pass the SpawnProcess.reg_id value into scheduler.schedule() calls,
   so the scheduler knows to return when the callback referred to by
   the given id unregisters itself by returning False.

svn path=/main/trunk/; revision=10921

When logging is disabled, make the EbuildPhase create a dummy pipe to provide
a file descriptor that the scheduler can use to monitor the process from
inside a poll() loop.

svn path=/main/trunk/; revision=10920

Import portage before trying to access portage.exception for exception
handling.

svn path=/main/trunk/; revision=10919

* Split out a SequentialTaskQueue class to encapsulate the parallel-fetch
  prefetcher queue.

* Fix broken return value status handling in Scheduler.merge().

svn path=/main/trunk/; revision=10918

Bug #230469 - Implement non-blocking distlocks for --fetchonly. This adds
a "flags" keyword parameter to the portage.locks.lock() function. Default
is flags=0. If flags contains os.O_NONBLOCK then lock() will raise
portage.exception.TryAgain instead of blocking. This new flags parameter
is used to implement non-blocking distlocks in fetch() when fetchonly
mode is enabled.

svn path=/main/trunk/; revision=10917

Fix typo.

svn path=/main/trunk/; revision=10916

Bug #230579 - Handle EOFError raised from cPickle.load() in
PreservedLibsRegistry.load().

svn path=/main/trunk/; revision=10915

Split out a _create_prefetcher() method from _add_prefetchers().

svn path=/main/trunk/; revision=10913

Remove old unused vars inside _execute_task() and fix code not to use the
old vars.

svn path=/main/trunk/; revision=10912

Split logging and world atom code out of Scheduler._execute() task, and
trigger it inside EbuildPhase.execute().

svn path=/main/trunk/; revision=10911

Clean up Scheduler.merge() and split out a _save_resume_list() method.

svn path=/main/trunk/; revision=10910

Add a portage._disable_legacy_globals() function. This deletes the
ObjectProxy instances that are used for lazy initialization of legacy
global variables. The purpose of deleting them is to prevent new code
from referencing these deprecated variables. This allows the removal
of the PORTAGE_LEGACY_GLOBALS variable which used to serve the same
purpose.

svn path=/main/trunk/; revision=10909