Convert EbuildFetcher to an asynchronous interface:
* Rename EbuildFetcher to EbuildFetchPretend.
* Rename EbuildFetcherAsync to EbuildFetcher.

svn path=/main/trunk/; revision=10932

TODO: For parallel scheduling, everything in MergeListItem needs
asynchronous execution support (start, poll, and wait methods).

svn path=/main/trunk/; revision=10931

Add a PollConstants class to serve as a layer of indirection for accessing
select.POLL* attributes which do not exist on interix. Thanks to grobian
for reporting.

svn path=/main/trunk/; revision=10930

Bug #230525 - Work around ObjectProxy breakage in `portageq vdb_path`.

svn path=/main/trunk/; revision=10929

In --keep-going mode, display the new merge list when appropriate.

svn path=/main/trunk/; revision=10928

Split a _main_loop() method out of Scheduler._merge().

svn path=/main/trunk/; revision=10927

Split out a Scheduler._execute_pkg() method from _merge().

svn path=/main/trunk/; revision=10926

Rename PollSelectFallback to PollSelectAdapter.

svn path=/main/trunk/; revision=10925

* Split out a MergeListItem class from Scheduler._execute_task().
* Remove Scheduler._execute_task() and migrate some of it's code
  to Scheduler._merge().
* Fix _world_atom() so that it doesn't add an atom in --oneshot
  mode or similar.

svn path=/main/trunk/; revision=10924

Fix broken references to portage.exception.

svn path=/main/trunk/; revision=10923

Create a Scheduler._task_queues attribute which has "build" and "prefetch"
queues. The build queue is currently unused and the prefetch queue is used
for parallel fetch.

svn path=/main/trunk/; revision=10922

Change the way the way things that have to call the scheduler interact
with it:

 * Return a unique integer id from scheduler.register(), to be passed back
   into other scheduler methods.

 * Control handler unregistration with the handler's return value, like
   some other frameworks do for similar callbacks.

 * Add a SpawnProcess.reg_id attribute to store the id returned from
   scheduler.register()

 * Pass the SpawnProcess.reg_id value into scheduler.schedule() calls,
   so the scheduler knows to return when the callback referred to by
   the given id unregisters itself by returning False.

svn path=/main/trunk/; revision=10921

When logging is disabled, make the EbuildPhase create a dummy pipe to provide
a file descriptor that the scheduler can use to monitor the process from
inside a poll() loop.

svn path=/main/trunk/; revision=10920

Import portage before trying to access portage.exception for exception
handling.

svn path=/main/trunk/; revision=10919

* Split out a SequentialTaskQueue class to encapsulate the parallel-fetch
  prefetcher queue.

* Fix broken return value status handling in Scheduler.merge().

svn path=/main/trunk/; revision=10918

Bug #230469 - Implement non-blocking distlocks for --fetchonly. This adds
a "flags" keyword parameter to the portage.locks.lock() function. Default
is flags=0. If flags contains os.O_NONBLOCK then lock() will raise
portage.exception.TryAgain instead of blocking. This new flags parameter
is used to implement non-blocking distlocks in fetch() when fetchonly
mode is enabled.

svn path=/main/trunk/; revision=10917

Fix typo.

svn path=/main/trunk/; revision=10916

Bug #230579 - Handle EOFError raised from cPickle.load() in
PreservedLibsRegistry.load().

svn path=/main/trunk/; revision=10915

Split out a _create_prefetcher() method from _add_prefetchers().

svn path=/main/trunk/; revision=10913

Remove old unused vars inside _execute_task() and fix code not to use the
old vars.

svn path=/main/trunk/; revision=10912

Split logging and world atom code out of Scheduler._execute() task, and
trigger it inside EbuildPhase.execute().

svn path=/main/trunk/; revision=10911

Clean up Scheduler.merge() and split out a _save_resume_list() method.

svn path=/main/trunk/; revision=10910

Add a portage._disable_legacy_globals() function. This deletes the
ObjectProxy instances that are used for lazy initialization of legacy
global variables. The purpose of deleting them is to prevent new code
from referencing these deprecated variables. This allows the removal
of the PORTAGE_LEGACY_GLOBALS variable which used to serve the same
purpose.

svn path=/main/trunk/; revision=10909

Split out a _restart_if_necessary() method from Scheduler._merge().

svn path=/main/trunk/; revision=10908

Remove unused BinpkgMerge class.

svn path=/main/trunk/; revision=10907

Remove the Scheduler._post_merge() method, and create a new
_show_failed_fetches() method.

svn path=/main/trunk/; revision=10906

Split out a new _add_prefetchers() method from Scheduler._merge().

svn path=/main/trunk/; revision=10905

Split out a new _check_manifests() method from Scheduler._merge() since
this method is not useful for parallel scheduling and any useful code needs
to be relocated.

svn path=/main/trunk/; revision=10903

Implement asynchronous binary package extraction, so that the scheduler
can run while a package is extracting in the background.

svn path=/main/trunk/; revision=10902

Make BinpkgFetcherAsync inherit from SpawnProcess.

svn path=/main/trunk/; revision=10901

Add missing BinpkgFetcherAsync.registered attribute.

svn path=/main/trunk/; revision=10900

Move post ebuild phase code (originally from spawnebuild) from
EbuildExecuter.execute() to EbuildPhase._set_returncode().

svn path=/main/trunk/; revision=10899

Split out a SpawnProcess base class out of  EbuildFetcherAsync.

svn path=/main/trunk/; revision=10898

Use stdout.write() instead of "print", for py3k compat.

svn path=/main/trunk/; revision=10897

Fix broken except statement. Thanks to hawking.

svn path=/main/trunk/; revision=10896

Fix EbuildBuildDir so that it works properly with binary packages.

svn path=/main/trunk/; revision=10895

Handle missing select.poll on interix by using select() to emulate a poll
object.

svn path=/main/trunk/; revision=10894

Remove $PORTAGE_BUILDDIR locking from portage.pkgmerge() and use
an instance of EbuildBuildDir instead.

svn path=/main/trunk/; revision=10892

Split out a SubProcess base class for EbuildFetcherAsync, EbuildPhase,
and BinpkgFetcherAsync.

svn path=/main/trunk/; revision=10891

Py3k compatibility patch by Ali Polatel <hawking@g.o>.
Don't use the format raise Exception, "string"

svn path=/main/trunk/; revision=10890

Fix EbuildBuild.execute() to return os.EX_OK on success.

svn path=/main/trunk/; revision=10889

Fix inverted buildpkgonly logic.

svn path=/main/trunk/; revision=10888

Split out a Binpkg class from code inside Scheduler._execute_task().

svn path=/main/trunk/; revision=10887

Remove debugging code from the previous commit.

svn path=/main/trunk/; revision=10886

* Rename existing EbuildBuild class to EbuildExecuter.
* Split more code out of Scheduler._execute_task() and use it to make
  a more comprehensive EbuildBuild class.

svn path=/main/trunk/; revision=10885

Py3k compatibility patch #6 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10875

Py3k compatibility patch #5 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10874

Py3k compatibility patch #4 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10873

Py3k compatibility patch #3 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10872

Py3k compatibility patch #2 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10871

Py3k compatibility patch #1 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators..

svn path=/main/trunk/; revision=10870

Add a "prefix" keyword parameter to slot_dict_class() which controls the
prefix used when mapping attribute names from keys. Use this to change
the syntax from files["foo"] to files.foo (it's fewer characters to look
at).

svn path=/main/trunk/; revision=10869

Add a new BinpkgFetcherAsync class and use it to implement parellel-fetch
for --getbinpkg.

svn path=/main/trunk/; revision=10868

Never do realpath() on an empty string for portdbapi.porttree_root since
otherwise it can evaluate to $CWD which leads to undesireable results.

svn path=/main/trunk/; revision=10867

Also avoid sandbox violations in PreservedLibsRegistry.store(), for running
portage inside ebuild phases.

svn path=/main/trunk/; revision=10866

Handle potential errors in PreservedLibsRegistry.store() now that it can
be called via pruneNonExisting(), due to things such as portageq calls
where the user may not have write permission to the registry.

svn path=/main/trunk/; revision=10865

Split out a write_contents() function and a vardbapi.removeFromContents()
function. This is refactoring of code from the blocker file collision
contents handling in dblink.treewalk(). Also, there is a new
dblink._match_contents() method derived from isowner(). It returns the
exact path from the contents file that matches the given path, regardless
of path differences due to things such as symlinks.

svn path=/main/trunk/; revision=10864

add a call to pruneNonExisting() at the end of dbapi.vartree.PreservedLibsRegistry.__init__()

svn path=/main/trunk/; revision=10862

Fix typo.

svn path=/main/trunk/; revision=10861

Bug #230249 - Disable the "ebuild.notadded" check when not in commit mode and
running `svn list` and `svn status` calls in every package dir will be too
expensive.

svn path=/main/trunk/; revision=10860

Bug #230245 - Use os.path.basename() on paths returned from `svn list`
and `svn status`.

svn path=/main/trunk/; revision=10859

Bug #230245 - Pass the correct directory when calling `snv list` and
`svn status` since repoman supports category-level and repo-level
commits.

svn path=/main/trunk/; revision=10858

Add "(no inline comments)" to qualify "comments begin with #" statements.

svn path=/main/trunk/; revision=10857

Clear the self._task_queue to avoid duplicate parallel-fetch tasks
in --keep-going mode.

svn path=/main/trunk/; revision=10856

Reimplement parallel-fetch by spawning the `ebuild fetch` command for each
ebuild. The benefit of using this approach is that it can be integrated
together with parallel build scheduling that's planned. Parallel-fetch
support for binhost is not implemented yet, though it worked previously.

svn path=/main/trunk/; revision=10855

Avoid python-2.6 deprecation warnings for md5 and sha modules by trying
to import hashlib first and then falling back to the deprecated modules
if necessary. Thanks to ColdWind for reporting.

svn path=/main/trunk/; revision=10854

Rename the MergeTask class to Scheduler.

svn path=/main/trunk/; revision=10853

* Tweak conditionals in doebuild() to fix emerge --fetch breakage reported
  by Arfrever.

* Change a couple EMERGE_FROM conditionals to use the "returnpid" parameter
  instead.

svn path=/main/trunk/; revision=10852

Centralize select.poll() event handling in MergeTask._schedule(). This will
allow the parent process to handle output of multiple child processes
running in parllel.

svn path=/main/trunk/; revision=10851

Add EMERGE_FROM to the blacklisted vars in the config constructor.

svn path=/main/trunk/; revision=10850

 * Add "fd_pipes" and "returnpid" parameters to doebuild() and pass
   these into spawn calls, enabling ebuild processes to execute
   asynchronously.

 * Add a EbuildPhase class that's derived from the pty logging code
   inside portage.spawn().

 * Integrate post-phase code from spawnebuild() into EbuildBuild.execute()
   so that it still gets called even though doebuild() calls execute
   asynchronously.

svn path=/main/trunk/; revision=10849

In EbuildBuild.execute(), call doebuild() separately for each phase since
it will be easier to add asynchronous support to doebuild() if it's called
this way.

svn path=/main/trunk/; revision=10848

Split out a _check_build_log() function from spawnebuild().

svn path=/main/trunk/; revision=10847

Split out a _post_src_install_uid_fix() function from spawnebuild().

svn path=/main/trunk/; revision=10846

Split out a _spawn_misc_sh() function from spawnebuild().

svn path=/main/trunk/; revision=10845

Handle invalid atoms inside depgraph._add_pkg_deps(), to avoid an
unhandled InvalidAtom exception from dep_expand() when matching
against the vardb.

svn path=/main/trunk/; revision=10844

Move clean code, from the previous commit, from doebuild() to
EbuildBuild.execute() where it fits better.

svn path=/main/trunk/; revision=10843

Instead of calling the ebuild "clean" phase in MergeTask.merge(),
move it inside doebuild() where it can be tied into the actionmap_deps
framework.

svn path=/main/trunk/; revision=10842

Split out an EbuildBuildDir class to handle locking of the build dir.

svn path=/main/trunk/; revision=10841

Handle re.error exceptions raised from re.compile() when ACCEPT_CHOSTS
is invalid. Thanks to solar for reporting.

svn path=/main/trunk/; revision=10840

Make EbuildBinpkg delegate everything up to src_install() to
the EbuildBuild class.

svn path=/main/trunk/; revision=10839

* Remove unused EbuildBuild.pretend attribute.
* Add TODO not about asynchronous execution.

svn path=/main/trunk/; revision=10838

Bug #229859 - Also add atom validation to match().

svn path=/main/trunk/; revision=10837

Copy portageq exit code validation from has_version() to best_version().

svn path=/main/trunk/; revision=10836

Bug #229859 - Make portageq check atom validity when has_version() and
best_version() are called from inside the ebuild environment.

svn path=/main/trunk/; revision=10835

Use the EbuildMerge class instead of portage.merge().

svn path=/main/trunk/; revision=10834

Split out a PackageUninstall class.

svn path=/main/trunk/; revision=10833

* Split out an EbuildBinpkg class.
* Remove unused EbuildBuild.ldpath_mtimes attribute.

svn path=/main/trunk/; revision=10832

Split out an EbuildBuild class.

svn path=/main/trunk/; revision=10831

Fix typo.

svn path=/main/trunk/; revision=10830

Split out an EbuildMerge class.

svn path=/main/trunk/; revision=10829

 * Split out a BinpkgMerge class.
 * Fix typos in _get_hash_key() methods.

svn path=/main/trunk/; revision=10828

Split out a BinpkgFetcher class.

svn path=/main/trunk/; revision=10827

Split out an EbuildFetcher class.

svn path=/main/trunk/; revision=10826

Split the MergeTask._merge() method into 3 smaller methods. The new
methods are _execute_task() and _post_merge().

svn path=/main/trunk/; revision=10825

Bug #226307 - Copy come code from depgraph._iter_atoms_for_pkg() that
was used to solve bug #218854, and use it inside unmerge() when
matching sets to packages.

svn path=/main/trunk/; revision=10824

Fix depgraph.break_refs() to work with DependencyArg instances (or anything
else that may have a "root_config" attribute).

svn path=/main/trunk/; revision=10823

Remove the MergeTask._blocker_db attribute since it can just be a
local variable.

svn path=/main/trunk/; revision=10822

Break references from Package instances in the digraph before passing
it into the MergeTask constructor.

svn path=/main/trunk/; revision=10821

Pass the digraph into the MergeTask constructor. It's currently unused
but it will be useful for parallel scheduling.

svn path=/main/trunk/; revision=10820