Clean up Scheduler.merge() and split out a _save_resume_list() method.

svn path=/main/trunk/; revision=10910

Add a portage._disable_legacy_globals() function. This deletes the
ObjectProxy instances that are used for lazy initialization of legacy
global variables. The purpose of deleting them is to prevent new code
from referencing these deprecated variables. This allows the removal
of the PORTAGE_LEGACY_GLOBALS variable which used to serve the same
purpose.

svn path=/main/trunk/; revision=10909

Split out a _restart_if_necessary() method from Scheduler._merge().

svn path=/main/trunk/; revision=10908

Remove unused BinpkgMerge class.

svn path=/main/trunk/; revision=10907

Remove the Scheduler._post_merge() method, and create a new
_show_failed_fetches() method.

svn path=/main/trunk/; revision=10906

Split out a new _add_prefetchers() method from Scheduler._merge().

svn path=/main/trunk/; revision=10905

Split out a new _check_manifests() method from Scheduler._merge() since
this method is not useful for parallel scheduling and any useful code needs
to be relocated.

svn path=/main/trunk/; revision=10903

Implement asynchronous binary package extraction, so that the scheduler
can run while a package is extracting in the background.

svn path=/main/trunk/; revision=10902

Make BinpkgFetcherAsync inherit from SpawnProcess.

svn path=/main/trunk/; revision=10901

Add missing BinpkgFetcherAsync.registered attribute.

svn path=/main/trunk/; revision=10900

Move post ebuild phase code (originally from spawnebuild) from
EbuildExecuter.execute() to EbuildPhase._set_returncode().

svn path=/main/trunk/; revision=10899

Split out a SpawnProcess base class out of  EbuildFetcherAsync.

svn path=/main/trunk/; revision=10898

Use stdout.write() instead of "print", for py3k compat.

svn path=/main/trunk/; revision=10897

Fix broken except statement. Thanks to hawking.

svn path=/main/trunk/; revision=10896

Fix EbuildBuildDir so that it works properly with binary packages.

svn path=/main/trunk/; revision=10895

Handle missing select.poll on interix by using select() to emulate a poll
object.

svn path=/main/trunk/; revision=10894

Remove $PORTAGE_BUILDDIR locking from portage.pkgmerge() and use
an instance of EbuildBuildDir instead.

svn path=/main/trunk/; revision=10892

Split out a SubProcess base class for EbuildFetcherAsync, EbuildPhase,
and BinpkgFetcherAsync.

svn path=/main/trunk/; revision=10891

Py3k compatibility patch by Ali Polatel <hawking@g.o>.
Don't use the format raise Exception, "string"

svn path=/main/trunk/; revision=10890

Fix EbuildBuild.execute() to return os.EX_OK on success.

svn path=/main/trunk/; revision=10889

Fix inverted buildpkgonly logic.

svn path=/main/trunk/; revision=10888

Split out a Binpkg class from code inside Scheduler._execute_task().

svn path=/main/trunk/; revision=10887

Remove debugging code from the previous commit.

svn path=/main/trunk/; revision=10886

* Rename existing EbuildBuild class to EbuildExecuter.
* Split more code out of Scheduler._execute_task() and use it to make
  a more comprehensive EbuildBuild class.

svn path=/main/trunk/; revision=10885

Py3k compatibility patch #6 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10875

Py3k compatibility patch #5 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10874

Py3k compatibility patch #4 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10873

Py3k compatibility patch #3 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10872

Py3k compatibility patch #2 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators.

svn path=/main/trunk/; revision=10871

Py3k compatibility patch #1 by Ali Polatel <hawking@g.o>.
Replace dict.has_key() calls with "in" and "not in" operators..

svn path=/main/trunk/; revision=10870

Add a "prefix" keyword parameter to slot_dict_class() which controls the
prefix used when mapping attribute names from keys. Use this to change
the syntax from files["foo"] to files.foo (it's fewer characters to look
at).

svn path=/main/trunk/; revision=10869

Add a new BinpkgFetcherAsync class and use it to implement parellel-fetch
for --getbinpkg.

svn path=/main/trunk/; revision=10868

Never do realpath() on an empty string for portdbapi.porttree_root since
otherwise it can evaluate to $CWD which leads to undesireable results.

svn path=/main/trunk/; revision=10867

Also avoid sandbox violations in PreservedLibsRegistry.store(), for running
portage inside ebuild phases.

svn path=/main/trunk/; revision=10866

Handle potential errors in PreservedLibsRegistry.store() now that it can
be called via pruneNonExisting(), due to things such as portageq calls
where the user may not have write permission to the registry.

svn path=/main/trunk/; revision=10865

Split out a write_contents() function and a vardbapi.removeFromContents()
function. This is refactoring of code from the blocker file collision
contents handling in dblink.treewalk(). Also, there is a new
dblink._match_contents() method derived from isowner(). It returns the
exact path from the contents file that matches the given path, regardless
of path differences due to things such as symlinks.

svn path=/main/trunk/; revision=10864

add a call to pruneNonExisting() at the end of dbapi.vartree.PreservedLibsRegistry.__init__()

svn path=/main/trunk/; revision=10862

Fix typo.

svn path=/main/trunk/; revision=10861

Bug #230249 - Disable the "ebuild.notadded" check when not in commit mode and
running `svn list` and `svn status` calls in every package dir will be too
expensive.

svn path=/main/trunk/; revision=10860

Bug #230245 - Use os.path.basename() on paths returned from `svn list`
and `svn status`.

svn path=/main/trunk/; revision=10859

Bug #230245 - Pass the correct directory when calling `snv list` and
`svn status` since repoman supports category-level and repo-level
commits.

svn path=/main/trunk/; revision=10858

Add "(no inline comments)" to qualify "comments begin with #" statements.

svn path=/main/trunk/; revision=10857

Clear the self._task_queue to avoid duplicate parallel-fetch tasks
in --keep-going mode.

svn path=/main/trunk/; revision=10856

Reimplement parallel-fetch by spawning the `ebuild fetch` command for each
ebuild. The benefit of using this approach is that it can be integrated
together with parallel build scheduling that's planned. Parallel-fetch
support for binhost is not implemented yet, though it worked previously.

svn path=/main/trunk/; revision=10855

Avoid python-2.6 deprecation warnings for md5 and sha modules by trying
to import hashlib first and then falling back to the deprecated modules
if necessary. Thanks to ColdWind for reporting.

svn path=/main/trunk/; revision=10854

Rename the MergeTask class to Scheduler.

svn path=/main/trunk/; revision=10853

* Tweak conditionals in doebuild() to fix emerge --fetch breakage reported
  by Arfrever.

* Change a couple EMERGE_FROM conditionals to use the "returnpid" parameter
  instead.

svn path=/main/trunk/; revision=10852

Centralize select.poll() event handling in MergeTask._schedule(). This will
allow the parent process to handle output of multiple child processes
running in parllel.

svn path=/main/trunk/; revision=10851

Add EMERGE_FROM to the blacklisted vars in the config constructor.

svn path=/main/trunk/; revision=10850

 * Add "fd_pipes" and "returnpid" parameters to doebuild() and pass
   these into spawn calls, enabling ebuild processes to execute
   asynchronously.

 * Add a EbuildPhase class that's derived from the pty logging code
   inside portage.spawn().

 * Integrate post-phase code from spawnebuild() into EbuildBuild.execute()
   so that it still gets called even though doebuild() calls execute
   asynchronously.

svn path=/main/trunk/; revision=10849

In EbuildBuild.execute(), call doebuild() separately for each phase since
it will be easier to add asynchronous support to doebuild() if it's called
this way.

svn path=/main/trunk/; revision=10848

Split out a _check_build_log() function from spawnebuild().

svn path=/main/trunk/; revision=10847

Split out a _post_src_install_uid_fix() function from spawnebuild().

svn path=/main/trunk/; revision=10846

Split out a _spawn_misc_sh() function from spawnebuild().

svn path=/main/trunk/; revision=10845

Handle invalid atoms inside depgraph._add_pkg_deps(), to avoid an
unhandled InvalidAtom exception from dep_expand() when matching
against the vardb.

svn path=/main/trunk/; revision=10844

Move clean code, from the previous commit, from doebuild() to
EbuildBuild.execute() where it fits better.

svn path=/main/trunk/; revision=10843

Instead of calling the ebuild "clean" phase in MergeTask.merge(),
move it inside doebuild() where it can be tied into the actionmap_deps
framework.

svn path=/main/trunk/; revision=10842

Split out an EbuildBuildDir class to handle locking of the build dir.

svn path=/main/trunk/; revision=10841

Handle re.error exceptions raised from re.compile() when ACCEPT_CHOSTS
is invalid. Thanks to solar for reporting.

svn path=/main/trunk/; revision=10840

Make EbuildBinpkg delegate everything up to src_install() to
the EbuildBuild class.

svn path=/main/trunk/; revision=10839

* Remove unused EbuildBuild.pretend attribute.
* Add TODO not about asynchronous execution.

svn path=/main/trunk/; revision=10838

Bug #229859 - Also add atom validation to match().

svn path=/main/trunk/; revision=10837

Copy portageq exit code validation from has_version() to best_version().

svn path=/main/trunk/; revision=10836

Bug #229859 - Make portageq check atom validity when has_version() and
best_version() are called from inside the ebuild environment.

svn path=/main/trunk/; revision=10835

Use the EbuildMerge class instead of portage.merge().

svn path=/main/trunk/; revision=10834

Split out a PackageUninstall class.

svn path=/main/trunk/; revision=10833

* Split out an EbuildBinpkg class.
* Remove unused EbuildBuild.ldpath_mtimes attribute.

svn path=/main/trunk/; revision=10832

Split out an EbuildBuild class.

svn path=/main/trunk/; revision=10831

Fix typo.

svn path=/main/trunk/; revision=10830

Split out an EbuildMerge class.

svn path=/main/trunk/; revision=10829

 * Split out a BinpkgMerge class.
 * Fix typos in _get_hash_key() methods.

svn path=/main/trunk/; revision=10828

Split out a BinpkgFetcher class.

svn path=/main/trunk/; revision=10827

Split out an EbuildFetcher class.

svn path=/main/trunk/; revision=10826

Split the MergeTask._merge() method into 3 smaller methods. The new
methods are _execute_task() and _post_merge().

svn path=/main/trunk/; revision=10825

Bug #226307 - Copy come code from depgraph._iter_atoms_for_pkg() that
was used to solve bug #218854, and use it inside unmerge() when
matching sets to packages.

svn path=/main/trunk/; revision=10824

Fix depgraph.break_refs() to work with DependencyArg instances (or anything
else that may have a "root_config" attribute).

svn path=/main/trunk/; revision=10823

Remove the MergeTask._blocker_db attribute since it can just be a
local variable.

svn path=/main/trunk/; revision=10822

Break references from Package instances in the digraph before passing
it into the MergeTask constructor.

svn path=/main/trunk/; revision=10821

Pass the digraph into the MergeTask constructor. It's currently unused
but it will be useful for parallel scheduling.

svn path=/main/trunk/; revision=10820

Fix typo.

svn path=/main/trunk/; revision=10819

Add documentation for the new --keep-going option.

svn path=/main/trunk/; revision=10818

Generate and log eerror messages for any packages that need to be dropped
due to unsatisfied dependencies when --keep-going is enabled.

svn path=/main/trunk/; revision=10817

Call clear_caches() after the depgraph is out of scope, in MergeTask.merge().

svn path=/main/trunk/; revision=10812

Bug #12768 - Add a --keep-going option. This uses the same resume_depgraph()
function that's called for emerge --resume operations. Given the remaining
tasks, depedencies are recalculated and any tasks with unsatisfied
dependencies are automatically dropped.

svn path=/main/trunk/; revision=10811

Use bool() to simplify ObjectProxy.__nonzero__().

svn path=/main/trunk/; revision=10810

Split the --skipfirst code into a resume_depgraph() function that will
be useful for implementing a --keep-going option (bug #12768).

svn path=/main/trunk/; revision=10809

For brevity, and consistency with pkgcore, rename "all-installed" to just
"installed". Thanks to ferringb for the suggestion.

svn path=/main/trunk/; revision=10808

Call use_reduce() with matchall=1 when checking depstrings. Otherwise it's
possible for invalid deps to be ignored. Thanks to grobian for reporting.

svn path=/main/trunk/; revision=10807

Add "PATH" to the set of allowed pacakge metadata keys for the PackageIndex.

svn path=/main/trunk/; revision=10806

Fix the PermissionDenied message for color.map.

svn path=/main/trunk/; revision=10805

* Remove PORTAGE_LEGACY_GLOBALS hack for portage import since late
  initialization of portage.settings (via ObjectProxy) allows us
  to rely on being able to access the portage.exception namespace
  before portage.settings is initialized.

* Use portage.settings["ROOT"] instead of portage.root to avoid
  potential ObjectProxy compatibility issues.

svn path=/main/trunk/; revision=10804

Use settings["ROOT"] at the beginning of env_update() to avoid breakage
due to "root" being an ObjectProxy instance.

svn path=/main/trunk/; revision=10803

Handle KeyError from aux_get() inside dbapi._iter_match_slot() and
_iter_match_use(). Thanks to grobian for reporting.

svn path=/main/trunk/; revision=10802

change default name of EverythingSet to @all-installed (bug #229467)

svn path=/main/trunk/; revision=10801

Also use a separate proxy type for portage.mtimedb since it's independent
from the portdb and settings.

svn path=/main/trunk/; revision=10800

Use a separate proxy type to trigger portage.portdb initialization separately
from the rest of the legacy global variables. This can be useful since
sometimes the other variables are needed while the portdb is not.

svn path=/main/trunk/; revision=10799

Implement lazy initialization of global "portdb", "settings" and other
variables that pollute the portage module. This works by initializing
the global variables with dummy "proxy" objects that serve as a means
to trigger lazy initialization. As soon as the first attribute access
or method call occurs on one of the proxy objects, it causes all the
proxy objects to be replaced with the real ones.

It's possible for an unsupported attribute access or method call on a
proxy object to trigger an error, leading to breakage. However, hopefully
these such corner cases will negligible (only time will tell).

svn path=/main/trunk/; revision=10798

Make PackageIndex use SlotDict for package metadata storage. The set of
allowed keys is passed into the PackageIndex constructor (normal dict
instances will be used if the set of keys is not passed in for some
reason). A SlotDict.allowed_keys attribute now provides access to a
frozenset of allowed keys.

svn path=/main/trunk/; revision=10797

Use SlotDict where appropriate in binarytree._populate().

svn path=/main/trunk/; revision=10796

Fix typo.

svn path=/main/trunk/; revision=10795