Fix PipeReader and PipeReaderTestCase to work with binary strings in py3k.

svn path=/main/trunk/; revision=12720

Loosen EMakeParallelDisabled.re so it can match more variations.

svn path=/main/trunk/; revision=12719

Add a new upstream.workaround check for hardcoded MAKEOPTS=-j1 (previously
only emake -j1 was recognized). Thanks to Maciej Mrozowski <reavertm@poczta.fm>
for this patch.

svn path=/main/trunk/; revision=12718

Fix test breakage due to change in calling order of AsynchronousTask start
listeners from r12713.

svn path=/main/trunk/; revision=12717

Fix a case in which a SRC_URI is incorrectly idendified as invalid, and add
a corresponding test case. Thanks to Jacob Floyd for reporting.

svn path=/main/trunk/; revision=12716

Remove recursion code from Scheduler._system_merge_started() since indirect
deps are checked when the corresponding parent is merged.

svn path=/main/trunk/; revision=12715

In traversing deps to add to Scheduler._unsatisfied_system_deps, only traverse
completed 'merge' nodes since those are the only ones that need to be checked
for unsatisfied runtime deps, and it's normal for nodes that aren't yet
complete to have unsatisfied runtime deps.

svn path=/main/trunk/; revision=12714

Bug #259954 - Do not spawn parallel build when the system is in a fragile
state due to a system package having an unsatisfied runtime dependency
(such as sys-libs/pam having an unsatisfied PDEPEND on sys-auth/pambase).

svn path=/main/trunk/; revision=12713

reject all set*id binaries that have DT_RPATH:$ORIGIN #260331

svn path=/main/trunk/; revision=12712

Remove stray parenthesis.

svn path=/main/trunk/; revision=12711

Inside depgraph._merge_order_bias(), promote deep system runtime deps toward
the front of the merge list. This should help optimize merge order to account
for implicit system dependencies.

svn path=/main/trunk/; revision=12710

Implement BlockerDepPriority.__str__().

svn path=/main/trunk/; revision=12709

Fix typo in DepPriority.__str__().

svn path=/main/trunk/; revision=12708

Implement lazy evaluation of USE_EXPAND variables in config.setcpv(), since
those variables are only needed when an ebuild shell is spawned. Thanks to
Marat Radchenko <slonopotamusorama@gmail.com> for testing this patch. He
reports a 14% reduction in the time consumed for `emerge -vpe world` on an
ARM device (from 3m12.008s to 2m45.055s).

svn path=/main/trunk/; revision=12707

In mirror_cache(), normalize EAPI by mapping EAPI=0 to empty.

svn path=/main/trunk/; revision=12706

Bug #259882 - Disable the ignore-previously-merged option by default since
emerge's confmem already provides similar functionality which is a little
safer.

svn path=/main/trunk/; revision=12705

If deepcopy() raises a TypeError for a lazy item that has been added via a
call to LazyItemsDict.addLazySingleton(), automatically evaluate the
the singleton and instead call deepcopy() on the result.

svn path=/main/trunk/; revision=12704

Make USE_EXPAND wildcard expansion more efficient, and prevent possible
duplicates.

svn path=/main/trunk/; revision=12703

Fix breakage in USE_EXPAND wildcard handling, from r12697.

svn path=/main/trunk/; revision=12702

Fix headers that contain $Header instead of $Id.

svn path=/main/trunk/; revision=12701

In LazyItemsDict, avoid storing empty lists and dicts when no positional or
keyword arguments are given.

svn path=/main/trunk/; revision=12700

In config.setcpv(), increase efficiency by filtering USE with IUSE before
calculating USE_EXPAND variables. Also use a generator expression instead
of a list comprehension in the USE_EXPAND generation code.

svn path=/main/trunk/; revision=12697

Fix getmaskingstatus() so that it doesn't inappropriately return a
'missing keyword' mask is some cases when the user has ** in package.keywords.
Thanks to Raúl Porcel <armin76@g.o> for reporting.

svn path=/main/trunk/; revision=12696

Fix default_encoding logic in _ensure_default_encoding().

svn path=/main/trunk/; revision=12695

Reorganize _ensure_default_encoding().

svn path=/main/trunk/; revision=12694

Revert vardbapi._owners_cache_version and unicode handling since it needs
some more work.

svn path=/main/trunk/; revision=12693

Don't try to call setdefaultencoding() since it's not intended to be called.

svn path=/main/trunk/; revision=12692

When displaying reverse dependencies in verbose --depclean/--prune output,
sort the parent packages by cpv.

svn path=/main/trunk/; revision=12691

Bump vardbapi._owners_cache_version from 1 to 2 since hash value encoding
is now hardcoded as utf_8.

svn path=/main/trunk/; revision=12690

When encoding strings inside  vardbapi._counter_hash() and
vardbapi._owners_cache._hash_str(), use 'backslashreplace' in order to avoid
potential UnicodeError exceptions. Use constant ascii and utf_8 codecs,
respectively, since these codecs are guaranteed to be available by
_ensure_default_encoding().

svn path=/main/trunk/; revision=12689

Add support in _ensure_default_encoding(), add support for utf_8 and fall
back to utf_8 if the encoding returned by sys.getdefaultencoding() is
unavailable.

svn path=/main/trunk/; revision=12688

When decoding term codes inside the JobStatusDisplay constructor, use the
'replace' error handling scheme in order to avoid triggering a potential
UnicodeError.

svn path=/main/trunk/; revision=12687

In EbuildFetchonly.execute(), skip builddir creation when the ebuild does
not set RESTRICT=fetch (since it's not possible for pkg_nofetch to be executed
in this case).

svn path=/main/trunk/; revision=12686

Avoid spurious CCACHE_DIR permissions adjustments when fetching with
a temporary PORTAGE_TMPDIR setting (for fetchonly). Thanks to
Marat Radchenko <slonopotamusorama@gmail.com> for reporting.

svn path=/main/trunk/; revision=12685

The python that's inside stage 1 or 2 is built with a minimal
configuration which does not include the /usr/lib/pythonX.Y/encodings
directory. This results in error like the following:

  LookupError: no codec search functions registered: can't find encoding

In order to solve this problem, detect it early and manually register
a search function for the ascii codec. Starting with python-3.0 this
problem is more noticeable because of stricter handling of encoding
and decoding between strings of characters and bytes.

svn path=/main/trunk/; revision=12684

Use a lock to ensure that threaded code doesn't cause problems with proxy
registration and unregistration.

svn path=/main/trunk/; revision=12683

Use lazyimport to avoid importing the portage.elog module when portage is
initially imported.

svn path=/main/trunk/; revision=12682

Use lazyimport to avoid importing the dep, output, update, and versions
modules when portage is initially imported.

svn path=/main/trunk/; revision=12681

Use lazyimport to avoid importing the checksum, locks, and util modules
when portage is initially imported.

svn path=/main/trunk/; revision=12680

Fix _LazyImportFrom to use the correct module name when registering and
unregistering.

svn path=/main/trunk/; revision=12679

Make lazyimport proxies trigger automatic destruction of other proxies for
modules that have been imported. This way, destruction of a single proxy
can trigger destruction of all the rest.

svn path=/main/trunk/; revision=12678

Fix typo in __all__.

svn path=/main/trunk/; revision=12677

Reduce bloat in portage.util by splitting ObjectProxy and lazyimport into a
new portage.proxy package.

svn path=/main/trunk/; revision=12676

Make lazy_import() skip proxy creation for modules that already exist
in sys.modules.

svn path=/main/trunk/; revision=12675

Make the UserDict and LazyItemsDict constructors use an optional positional
argument instead of a keyword argument.

svn path=/main/trunk/; revision=12674

In config.setcpv(), use LazyItemsDict to implement lazy evaluation of
PORTAGE_IUSE. The PORTAGE_IUSE value is lazily evaluated since re.escape()
is slow and the value is only used when an ebuild phase needs to be executed
(it's used only to generate QA notices). Thanks to Marat Radchenko
<slonopotamusorama@gmail.com> for identifying this performance issue and
submitting the initial patch which used a memoization approach instead of
lazy evaluation.

svn path=/main/trunk/; revision=12673

In LazyItemsDict, when a singleton is instantiated, replace the wrapper with
the singleton since the wrapper is no longer needed at this point.

svn path=/main/trunk/; revision=12672

Revert r12639 and use string.ascii_letters for python-3.0 compatibility.

svn path=/main/trunk/; revision=12669

Inside portage.spawn(), open files for logfile handling in binary mode, for
compatibility with python-3.0.

svn path=/main/trunk/; revision=12668

Inside summarylist(), it's possible for myglsa.packages.keys() to contain
unicode objects, which trigger and exception like this:

   File "//usr/lib64/portage/pym/portage/dep.py", line 535, in __init__
    obj_setattr(self, x, getattr(s, x))
   AttributeError: 'unicode' object has no attribute '__eq__'

To solve this problem, convert unicode objects to plain str before passing
them to the portage api.

svn path=/main/trunk/; revision=12667

For python-3.0 compatibility, open files in binary mode inside
SpawnProcess._start().

svn path=/main/trunk/; revision=12666

When loading vdb_metadata.pickle inside vardbapi._aux_cache_init(), in
order to avoid an extreme performance issue, disable buffering when opening
the file under python-3.0. Unfortunately, performance is still poor relative
to python-2.x, but buffering makes it much worse.

svn path=/main/trunk/; revision=12665

Add a cross reference from FEATURES=lmirror docs to the "local" mirror docs
in portage(5).

svn path=/main/trunk/; revision=12664

In python-3.0, integer division results in a float, so convert back to int.

svn path=/main/trunk/; revision=12663

Fix StringIO imports so that 2to3 can handle them. Also, replace shlex +
StringIO usage with shlex.split() where appropriate.

svn path=/main/trunk/; revision=12662

Add a new portage.utils.lazy_import() function which behaves similar to the
snakeoil.demandload.demandload() function.

svn path=/main/trunk/; revision=12661

Try to fix svn:keywords again.

svn path=/main/trunk/; revision=12659

Try to fix svn:keywords again.

svn path=/main/trunk/; revision=12658

Add back Rev to svn:keywords (accidentally removed when setting Id). Thanks
to ABCD for reporting.

svn path=/main/trunk/; revision=12656

When displaying the list of failed packages, tell the number that failed.
Thanks to Jeremy Olexa <darkside@g.o> for the suggestion.

svn path=/main/trunk/; revision=12655

Make isvalidatom() identify empty slot as invalid (missing slot is valid) and
add a corresponding test case.

svn path=/main/trunk/; revision=12654

Optimize depgraph._dep_expand() to avoid calling pordbapi.cp_all(),
since it can be more efficient to call cp_list() on each category.
Thanks to Marat Radchenko <slonopotamusorama@gmail.com> for the
suggestion.

svn path=/main/trunk/; revision=12653

Decode terminal codes from binary when necessary, for python-3.0 compatibility
since sys.stdout is a text stream.

svn path=/main/trunk/; revision=12649

Handle ValueError when unpickling, since this can be triggered by an
unsupported pickle protocol.

svn path=/main/trunk/; revision=12648

Fix update() methods to work with python-3.0.

svn path=/main/trunk/; revision=12647

Tweak exception handling indentation to avoid a bug in 2to3.

svn path=/main/trunk/; revision=12646

For python-3.0 compatibility, encode strings as binary before trying to pass
them to hashlib.

svn path=/main/trunk/; revision=12645

Tweak code to avoid python-3.0 errors like this one:
SyntaxError: can not delete variable 'e' referenced in nested scope

svn path=/main/trunk/; revision=12644

Revert accidental python-3.0 syntax.

svn path=/main/trunk/; revision=12643

For compatibility with python-3.0, open files in text mode where appropriate.

svn path=/main/trunk/; revision=12642

For compatibility with python-3.0, always open streams for pickles in binary
mode.

svn path=/main/trunk/; revision=12641

For compatibility with python-3.0, inherit from ObjectProxy instead of
inheriting directly from file.

svn path=/main/trunk/; revision=12640

For python-3.0 compatibility, don't use string.letters.

svn path=/main/trunk/; revision=12639

Use a regular expression for the file.name check. This replaces some odd
map() usage that 2to3 warns about.

svn path=/main/trunk/; revision=12638

Don't bother to calculate PORTAGE_COUNTER_HASH when in --pretend mode.

svn path=/main/trunk/; revision=12637

Inside post_emerge(), skip the vardbapi counter check when in --pretend
mode (significant performance improvement). Thanks to Marat Radchenko
(slonopotamus) for reporting.

svn path=/main/trunk/; revision=12636

For python-3.0 compatibility, raise a real exception instead of a string.

svn path=/main/trunk/; revision=12635

Bug #230483 - Convert glsa-check option parsing to use the optparse module.
This replaces some code which triggers a traceback from 2to3. Thanks to
Ali Polatel <hawking@g.o> for this patch.

svn path=/main/trunk/; revision=12634

For compatibility with python-3.0, use isinstance() instead of type().

svn path=/main/trunk/; revision=12633

Fix classes that implement __iter__() to copy it to their keys() method
when running under >=python-3.0.

svn path=/main/trunk/; revision=12632

Remove redundant ConfigLoaderKlass.__iter__() method.

svn path=/main/trunk/; revision=12631

Implement UserDict.__contains__() and __iter__().

svn path=/main/trunk/; revision=12630

Implement a substitute for UserDict.UserDict so that code converted via
2to3 will run:

     http://bugs.python.org/issue2876

svn path=/main/trunk/; revision=12629

In python-3.0, the UserDict.DictMixin class has been replaced by
Mapping and MutableMapping from the collections module, but 2to3
doesn't currently account for this change:

http://bugs.python.org/issue2876

As a workaround for the above issue, implement Mapping and
MutableMapping classes as substitutes for UserDict.DictMixin so
that code converted via 2to3 will run.

svn path=/main/trunk/; revision=12628

Set svn:keywords Id on all files.

svn path=/main/trunk/; revision=12626

Make save_ebuild_env() filter NOCOLOR, and remove related code from ebuild.sh
since that variable is not loaded from $T/environment anymore.

svn path=/main/trunk/; revision=12625

Call depgraph._dep_check_composite_db._clear_cache() inside
depgraph._add_pkg() since _dep_check_composite_db._visible() is now
affected by which packages are added to the graph.

svn path=/main/trunk/; revision=12624

Bug #253904 - Add a lookahead mechanism inside
depgraph._dep_check_composite_db._visible() which masks package choices
that are likely to trigger slot conflicts. Thanks to Vlastimil Babka
<caster@g.o> for the suggestion.

svn path=/main/trunk/; revision=12623

Fix grabfile_package() to preprocess atoms before passing them to
isvalidatom() because isvalidatom() has gotten more strict since r12614.
Thanks to ABCD for reporting.

svn path=/main/trunk/; revision=12622

Bug #259124 - Inside EbuildFetcher._start(), pass the NOCOLOR variable into
the fetch environment, so that --color=n is respected.

svn path=/main/trunk/; revision=12621

unify code for unpacking of tar files

svn path=/main/trunk/; revision=12620

Fix broken references to DepPriority attributes.

svn path=/main/trunk/; revision=12619

In dyn_package(), show a more informative die message if an error occurs when
creating the tarball.

svn path=/main/trunk/; revision=12618

Add a test case for the new case which is detected by isvalidatom().

svn path=/main/trunk/; revision=12617

Fix more false positives in isvalidatom() from previous commits.

svn path=/main/trunk/; revision=12616

Fix isvalidatom() logic from previous commit to avoid false positives.

svn path=/main/trunk/; revision=12615

Fix isvalidatom to properly identify an invalid atom such as
'dev-java/nanoxml*'. Thanks to Vlastimil Babka <caster@g.o> for reporting.

svn path=/main/trunk/; revision=12614

Fix merge order calculation so that the circular runtime path isn't entered
when it's possible to select a node that only has unsatisfied PDEPEND. This
reverts an unintended change from the patch for bug #250020, and solves a
problem with libperl being merged after perl when building stage 1.

svn path=/main/trunk/; revision=12613

Bug #250020 - When calculating merge order, try to ensure that packages
listed in DEPEND are updated before whenever possible (even though the
DEPEND may already be satisfied by an installed instance). The changes
to the merge order algorithm should also account for many common cases of
bug #199856, but does not necessarily solve all cases. Whenever possible,
the new algorithm avoids dropping dependencies that are satisfied by installed
packages. Such dependencies are only dropped in a couple of cases:

 * when solving circular dependencies
 * when promoting packages to in the merge list (either
   due an unsatisfied PDEPEND or a portage upgrade)

svn path=/main/trunk/; revision=12612

In depgraph._serialize_tasks(), when appropriate, execute uninstall tasks
sooner. This solves some cases of bug #256870 since there is a smaller window
of time for some other failure to cause the uninstall to get discarded.

svn path=/main/trunk/; revision=12611