Fix broken code in AsynchronousTask.poll().

svn path=/main/trunk/; revision=10965

Fix EbuildPhase._set_returncode() so that it correctly updates the returncode
attrbute instead of just a local variable.

svn path=/main/trunk/; revision=10964

Fix typo in Binpkg.start() which prevents --genbinpkg prefetcher sync
from working properly in some cases.

svn path=/main/trunk/; revision=10963

* Implement MergeListItem._poll() and _wait().
* Fix BinpkgVerifier.start() to call wait() since it's not asynchronous.

svn path=/main/trunk/; revision=10962

Add a PackageMerge class to serve as an asynchronous interface to package
merges. For now it executes synchronously inside the start() method.

svn path=/main/trunk/; revision=10961

Add async support to MergeListItem.

svn path=/main/trunk/; revision=10960

Add async support to the Binpkg class.

svn path=/main/trunk/; revision=10959

Make BinpkgFetcher send output directly to stdout when appropriate,
so that wget's progress bar works normally.

svn path=/main/trunk/; revision=10958

Fix parent class constructor call in the BinpkgFetcher constructor.

svn path=/main/trunk/; revision=10957

Make AsynchronousTask subclasses override _wait() and _poll() so that calls
to public methods can be wrapped for implementing hooks such as exit listener
notification.

svn path=/main/trunk/; revision=10956

Fix --getbinpkg to inject downloaded packages into the local bintree.

svn path=/main/trunk/; revision=10955

* Fix broke return code handling from previous commit, in
  MergeListItem.execute().
* Fix TaskSequence._task_exit_handler() so it won't call
  final_exit() if _default_exit() has already set
  self._current_task to None.

svn path=/main/trunk/; revision=10954

Add async support to EbuildBuild, and an synchronous install() method.

svn path=/main/trunk/; revision=10953

Split out a CompositeTask._start_task() for subclasses to use as a generic
way to start a task.

svn path=/main/trunk/; revision=10952

Add CompositeTask._final_exit() method and use it to fix breakage from the
previous commit.

svn path=/main/trunk/; revision=10951

Split out a reusable CompositeTask._default_exit() method that subclasses
can use as a generic task exit callback.

svn path=/main/trunk/; revision=10950

Add a CompositeTask._assert_current() method that asynchronous callbacks
can use detect possible bugs.

svn path=/main/trunk/; revision=10949

Fix typo in xterm titles total package count which causes it to show the
current package instead. Thanks to Arfrever for this patch.

svn path=/main/trunk/; revision=10948

* Fix AsynchronousTask.poll() to call _wait_hook() when necessary.
* Use the default poll() and cancel() implementations for BinpkgVerifier.

svn path=/main/trunk/; revision=10947

Call _wait_hook() from poll() if the wait call occurs there.

svn path=/main/trunk/; revision=10946

Correct TaskSequence docstring to refer to the addExitListener() method.

svn path=/main/trunk/; revision=10945

Thanks to Ali Polatel <hawking@g.o> for this patch to fix broken indentation.

svn path=/main/trunk/; revision=10944

Split out common code from CompositeTask and EbuildExecuter into a new
CompositeTask class and rename the old CompositeTask class to TaskSequence.

svn path=/main/trunk/; revision=10943

Make EbuildExecuter inherit from AsynchronousTask.

svn path=/main/trunk/; revision=10942

Fix CompositeTask.cancel() so that it's safe to call when there is no
running task.

svn path=/main/trunk/; revision=10941

Add a new CompositeTask class which can be used to combine separate
AsynchronousTask instances into a single instance. The CompositeTask
instance used task exit listeners as a means to (asynchronously) trigger
progression from one subtask to the next. This technique is used to
group together all the ebuild phases executed by EbuildExecuter, and
should be useful for grouping many more sets of tasks into similar
composite tasks.

svn path=/main/trunk/; revision=10940

Add async support to EbuildBinpkg by making it inherit from EbuildPhase.

svn path=/main/trunk/; revision=10939

Use the EbuildPhase class to execute the "clean" phase asynchronously.

svn path=/main/trunk/; revision=10938

Remove unused variable.

svn path=/main/trunk/; revision=10937

Rename BinpkgFetcherAsync class to BinpkgFetcher and use it to replace the
older class with the same name

svn path=/main/trunk/; revision=10936

* Implement a new binarytree.digestCheck() method and use it to check
  digests for binary packages.

* Split out a AsynchronousTask base class from SubProcess.

* Derive a new BinpkgVerifier class from AsynchronousTask. Even though
  this is not really asynchronous yet, it can fake the interface by
  doing everything in the start() method.

svn path=/main/trunk/; revision=10935

Make Binpkg inherit from EbuildBuildDir since it's going to hold
the build dir lock while it runs asynchronously.

svn path=/main/trunk/; revision=10934

Make EbuildBuild inherit from EbuildBuildDir since it's going to hold
the build dir lock while it runs asynchronously.

svn path=/main/trunk/; revision=10933

Convert EbuildFetcher to an asynchronous interface:
* Rename EbuildFetcher to EbuildFetchPretend.
* Rename EbuildFetcherAsync to EbuildFetcher.

svn path=/main/trunk/; revision=10932

TODO: For parallel scheduling, everything in MergeListItem needs
asynchronous execution support (start, poll, and wait methods).

svn path=/main/trunk/; revision=10931

Add a PollConstants class to serve as a layer of indirection for accessing
select.POLL* attributes which do not exist on interix. Thanks to grobian
for reporting.

svn path=/main/trunk/; revision=10930

Bug #230525 - Work around ObjectProxy breakage in `portageq vdb_path`.

svn path=/main/trunk/; revision=10929

In --keep-going mode, display the new merge list when appropriate.

svn path=/main/trunk/; revision=10928

Split a _main_loop() method out of Scheduler._merge().

svn path=/main/trunk/; revision=10927

Split out a Scheduler._execute_pkg() method from _merge().

svn path=/main/trunk/; revision=10926

Rename PollSelectFallback to PollSelectAdapter.

svn path=/main/trunk/; revision=10925

* Split out a MergeListItem class from Scheduler._execute_task().
* Remove Scheduler._execute_task() and migrate some of it's code
  to Scheduler._merge().
* Fix _world_atom() so that it doesn't add an atom in --oneshot
  mode or similar.

svn path=/main/trunk/; revision=10924

Fix broken references to portage.exception.

svn path=/main/trunk/; revision=10923

Create a Scheduler._task_queues attribute which has "build" and "prefetch"
queues. The build queue is currently unused and the prefetch queue is used
for parallel fetch.

svn path=/main/trunk/; revision=10922

Change the way the way things that have to call the scheduler interact
with it:

 * Return a unique integer id from scheduler.register(), to be passed back
   into other scheduler methods.

 * Control handler unregistration with the handler's return value, like
   some other frameworks do for similar callbacks.

 * Add a SpawnProcess.reg_id attribute to store the id returned from
   scheduler.register()

 * Pass the SpawnProcess.reg_id value into scheduler.schedule() calls,
   so the scheduler knows to return when the callback referred to by
   the given id unregisters itself by returning False.

svn path=/main/trunk/; revision=10921

When logging is disabled, make the EbuildPhase create a dummy pipe to provide
a file descriptor that the scheduler can use to monitor the process from
inside a poll() loop.

svn path=/main/trunk/; revision=10920

Import portage before trying to access portage.exception for exception
handling.

svn path=/main/trunk/; revision=10919

* Split out a SequentialTaskQueue class to encapsulate the parallel-fetch
  prefetcher queue.

* Fix broken return value status handling in Scheduler.merge().

svn path=/main/trunk/; revision=10918

Bug #230469 - Implement non-blocking distlocks for --fetchonly. This adds
a "flags" keyword parameter to the portage.locks.lock() function. Default
is flags=0. If flags contains os.O_NONBLOCK then lock() will raise
portage.exception.TryAgain instead of blocking. This new flags parameter
is used to implement non-blocking distlocks in fetch() when fetchonly
mode is enabled.

svn path=/main/trunk/; revision=10917

Fix typo.

svn path=/main/trunk/; revision=10916

Bug #230579 - Handle EOFError raised from cPickle.load() in
PreservedLibsRegistry.load().

svn path=/main/trunk/; revision=10915

Split out a _create_prefetcher() method from _add_prefetchers().

svn path=/main/trunk/; revision=10913

Remove old unused vars inside _execute_task() and fix code not to use the
old vars.

svn path=/main/trunk/; revision=10912

Split logging and world atom code out of Scheduler._execute() task, and
trigger it inside EbuildPhase.execute().

svn path=/main/trunk/; revision=10911

Clean up Scheduler.merge() and split out a _save_resume_list() method.

svn path=/main/trunk/; revision=10910

Add a portage._disable_legacy_globals() function. This deletes the
ObjectProxy instances that are used for lazy initialization of legacy
global variables. The purpose of deleting them is to prevent new code
from referencing these deprecated variables. This allows the removal
of the PORTAGE_LEGACY_GLOBALS variable which used to serve the same
purpose.

svn path=/main/trunk/; revision=10909

Split out a _restart_if_necessary() method from Scheduler._merge().

svn path=/main/trunk/; revision=10908

Remove unused BinpkgMerge class.

svn path=/main/trunk/; revision=10907

Remove the Scheduler._post_merge() method, and create a new
_show_failed_fetches() method.

svn path=/main/trunk/; revision=10906

Split out a new _add_prefetchers() method from Scheduler._merge().

svn path=/main/trunk/; revision=10905

Split out a new _check_manifests() method from Scheduler._merge() since
this method is not useful for parallel scheduling and any useful code needs
to be relocated.

svn path=/main/trunk/; revision=10903

Implement asynchronous binary package extraction, so that the scheduler
can run while a package is extracting in the background.

svn path=/main/trunk/; revision=10902

Make BinpkgFetcherAsync inherit from SpawnProcess.

svn path=/main/trunk/; revision=10901

Add missing BinpkgFetcherAsync.registered attribute.

svn path=/main/trunk/; revision=10900

Move post ebuild phase code (originally from spawnebuild) from
EbuildExecuter.execute() to EbuildPhase._set_returncode().

svn path=/main/trunk/; revision=10899

Split out a SpawnProcess base class out of  EbuildFetcherAsync.

svn path=/main/trunk/; revision=10898

Use stdout.write() instead of "print", for py3k compat.

svn path=/main/trunk/; revision=10897

Fix broken except statement. Thanks to hawking.

svn path=/main/trunk/; revision=10896

Fix EbuildBuildDir so that it works properly with binary packages.

svn path=/main/trunk/; revision=10895

Handle missing select.poll on interix by using select() to emulate a poll
object.

svn path=/main/trunk/; revision=10894

Remove $PORTAGE_BUILDDIR locking from portage.pkgmerge() and use
an instance of EbuildBuildDir instead.

svn path=/main/trunk/; revision=10892

Split out a SubProcess base class for EbuildFetcherAsync, EbuildPhase,
and BinpkgFetcherAsync.

svn path=/main/trunk/; revision=10891

Py3k compatibility patch by Ali Polatel <hawking@g.o>.
Don't use the format raise Exception, "string"

svn path=/main/trunk/; revision=10890

Fix EbuildBuild.execute() to return os.EX_OK on success.

svn path=/main/trunk/; revision=10889

Fix inverted buildpkgonly logic.

svn path=/main/trunk/; revision=10888

Split out a Binpkg class from code inside Scheduler._execute_task().

svn path=/main/trunk/; revision=10887

Remove debugging code from the previous commit.

svn path=/main/trunk/; revision=10886

* Rename existing EbuildBuild class to EbuildExecuter.
* Split more code out of Scheduler._execute_task() and use it to make
  a more comprehensive EbuildBuild class.

svn path=/main/trunk/; revision=10885

Py3k compatibility patch #6 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10875

Py3k compatibility patch #5 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10874

Py3k compatibility patch #4 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10873

Py3k compatibility patch #3 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10872

Py3k compatibility patch #2 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10871

Py3k compatibility patch #1 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators..

svn path=/main/trunk/; revision=10870

Add a "prefix" keyword parameter to slot_dict_class() which controls the
prefix used when mapping attribute names from keys. Use this to change
the syntax from files["foo"] to files.foo (it's fewer characters to look
at).

svn path=/main/trunk/; revision=10869

Add a new BinpkgFetcherAsync class and use it to implement parellel-fetch
for --getbinpkg.

svn path=/main/trunk/; revision=10868

Never do realpath() on an empty string for portdbapi.porttree_root since
otherwise it can evaluate to $CWD which leads to undesireable results.

svn path=/main/trunk/; revision=10867

Also avoid sandbox violations in PreservedLibsRegistry.store(), for running
portage inside ebuild phases.

svn path=/main/trunk/; revision=10866

Handle potential errors in PreservedLibsRegistry.store() now that it can
be called via pruneNonExisting(), due to things such as portageq calls
where the user may not have write permission to the registry.

svn path=/main/trunk/; revision=10865

Split out a write_contents() function and a vardbapi.removeFromContents()
function. This is refactoring of code from the blocker file collision
contents handling in dblink.treewalk(). Also, there is a new
dblink._match_contents() method derived from isowner(). It returns the
exact path from the contents file that matches the given path, regardless
of path differences due to things such as symlinks.

svn path=/main/trunk/; revision=10864

add a call to pruneNonExisting() at the end of dbapi.vartree.PreservedLibsRegistry.__init__()

svn path=/main/trunk/; revision=10862

Fix typo.

svn path=/main/trunk/; revision=10861

Bug #230249 - Disable the "ebuild.notadded" check when not in commit mode and
running `svn list` and `svn status` calls in every package dir will be too
expensive.

svn path=/main/trunk/; revision=10860

Bug #230245 - Use os.path.basename() on paths returned from `svn list`
and `svn status`.

svn path=/main/trunk/; revision=10859

Bug #230245 - Pass the correct directory when calling `snv list` and
`svn status` since repoman supports category-level and repo-level
commits.

svn path=/main/trunk/; revision=10858

Add "(no inline comments)" to qualify "comments begin with #" statements.

svn path=/main/trunk/; revision=10857

Clear the self._task_queue to avoid duplicate parallel-fetch tasks
in --keep-going mode.

svn path=/main/trunk/; revision=10856

Reimplement parallel-fetch by spawning the `ebuild fetch` command for each
ebuild. The benefit of using this approach is that it can be integrated
together with parallel build scheduling that's planned. Parallel-fetch
support for binhost is not implemented yet, though it worked previously.

svn path=/main/trunk/; revision=10855

Avoid python-2.6 deprecation warnings for md5 and sha modules by trying
to import hashlib first and then falling back to the deprecated modules
if necessary. Thanks to ColdWind for reporting.

svn path=/main/trunk/; revision=10854

Rename the MergeTask class to Scheduler.

svn path=/main/trunk/; revision=10853