Create classes to encapsulate eache of the depgraph argument
types: atoms, packages and sets.

svn path=/main/trunk/; revision=8475

Remove the workaround for \n -> \r\n transformations in
SpawnTestCase.testLogfile() since the problem is solved
by the patch from bug #198491.

svn path=/main/trunk/; revision=8474

Bug #198491 - Disable termios.OPOST post-processing of output on
the slave pty file descriptor since otherwise weird things like
\n -> \r\n transformations may occur. Thanks to Ulrich Mueller
<ulm@gentoo.org> for this patch.

svn path=/main/trunk/; revision=8473

Revert accidental hunk from bug 198491. Haven't tested
this yet.

svn path=/main/trunk/; revision=8472

make.globals should not be relative to config_root
because it only contains constants.

svn path=/main/trunk/; revision=8471

Tweak EOutput.term_columns calculation for TERM="dumb" so
that it behaves like TERM="cons25" currently does. Thanks
to Ulrich Mueller <ulm@gentoo.org> for the patch.

svn path=/main/trunk/; revision=8468

Don't do:
  Calculating dependencies |Fetching binary packages info...
but instead put "Fetching ..." on it's own line.
(branches/prefix r8461)

svn path=/main/trunk/; revision=8466

Bug #198492 - Make quickpkg create $PKGDIR if it doesn't
already exist.

svn path=/main/trunk/; revision=8464

It is not cool and/or helpfull to see an HTML dump of some
page in case it is not what is expected (like a 404).
(branches/prefix r8460)

svn path=/main/trunk/; revision=8462

For unsatisfied dependencies, shorten the per-package EAPI mask
output and show an informative message whenever an EAPI mask is
encountered.

svn path=/main/trunk/; revision=8457

Really fix broken logic for --update greedy slot atoms in
depgraph.select_files().

svn path=/main/trunk/; revision=8453

Fix broken logic for --update greedy slot atoms in
depgraph.select_files().

svn path=/main/trunk/; revision=8452

Make depgraph.select_files() perform internal expansion of
package set arguments since ideally the depgraph needs to
be awary of the precise origin of each atom.

svn path=/main/trunk/; revision=8451

Remove the usage.obsolete "KEYWORDS contain -*" warning since people
are using -* to indicate that a package should not be tried on archs
other than those for which it already has KEYWORDS.

svn path=/main/trunk/; revision=8447

Simplify and fix bugs in is_valid_package_atom().

svn path=/main/trunk/; revision=8445

Remove references to ${O} in dyn_spec() since antarus
made that variable mutable.

svn path=/main/trunk/; revision=8444

Go ahead and exempt selected profile-specific USE_EXPAND
flags from IUSE QA Notices since we are planning to make
these particular flags into implicit members of IUSE.
We can make this extensible later, but for now we just
want to eliminate some useless QA Notices (a subset of
bug #70648). We're not exempting any non profile-
specific USE_EXPAND flags here. For non profile-specific
flags, we intend to implement an IUSE syntax extension
(bug #133327).

svn path=/main/trunk/; revision=8442

Fix create_world_atom() logic some more for bug #198129.

svn path=/main/trunk/; revision=8439

Bug #198129 - Prevent SLOT atoms like  sys-devel/binutils:0
from being inappropriately recorded in the world file when
USE=multislot is enabled.

svn path=/main/trunk/; revision=8438

remove O and PPID from being readonly.  O is set python side (and we will hopefully stop being exported soon.  PPID is ro by bash, so no need to declare it twice

svn path=/main/trunk/; revision=8437

Allow multislot packages to be added to the world file
via --noreplace. Having these atoms in the world file
will trigger recommendations to run emaint in some
cases, like when running `emerge -e world`. The atoms
need to be in the world file to prevent multislot
packages from being removed by --depclean though.

svn path=/main/trunk/; revision=8436

Make WorldHandler lock the world file when in --fix mode.

svn path=/main/trunk/; revision=8432

Add support for package sets in WorldHandler.

svn path=/main/trunk/; revision=8431

Fix 'TypeError: not all arguments converted during string formatting'
issues with the EbuildNestedDie check.

svn path=/main/trunk/; revision=8429

Replace StringIO usage with a simple list of lines. The
iteration interface is practically identical but the
list of lines if more efficient because the lines only
have to be split one time for each ebuild instead of
for each check.

svn path=/main/trunk/; revision=8428

Make exception strings more informative.

svn path=/main/trunk/; revision=8426

Make Manifest.create() do some basic validation of ebuild
file names like portdbapi.cp_list() would do.

svn path=/main/trunk/; revision=8423

In portdbapi.cp_list(), validate the ebuild name to ensure
that it matches the name of the package.

svn path=/main/trunk/; revision=8421

When evaluating *DEPEND conditionals for the Packages metadata
index, do not use IUSE to filter USE since there is currently
no guarantee that IUSE properly defines all of the necessary
flags.

svn path=/main/trunk/; revision=8420

Clean up ACCEPT_KEYWORDS incremental stacking logic and
fix some minor inconsistencies.

svn path=/main/trunk/; revision=8418

In fetch(), replace checksum_failure_counts dict with single
int counter.

svn path=/main/trunk/; revision=8416

Generate a usage.obsolete warning whenever
-* is found in KEYWORDS.

svn path=/main/trunk/; revision=8414

Make fetch() behave like the ebuild has RESTRICT="primaryuri"
after 2 checksum failures for a fetched file. This should
increase the probability of fetching the correct file before
the maximum number of tries is reached.

svn path=/main/trunk/; revision=8412

For sanity, pass an actual list of keys into aux_get() instead
of iterating over a set that happens to be mutable (though it
remains constant in practice).

svn path=/main/trunk/; revision=8410

Bug #197797 - Do not actively clear o+rx permission bits
on the /var/lib/portage directory. Only clear the o+w
bits. This allows users who aren't in the portage group
to have read access to the world file by default, but
administrators can explicitly chmod o-rx that directory
if necessary, and portage will leave those bits alone.

This makes the permission settings in dblink.treewalk()
consistent with those that are already defined in
config._init_dirs().

svn path=/main/trunk/; revision=8408

Call die() so that the $TMP directory is always properly
cleaned up.

svn path=/main/trunk/; revision=8405

Bug #197965 - Make fetch() bail out after 5 checksum
failures for a particular file since downloading the
same file repeatedly from every single available
mirror is a waste of bandwidth and time.

svn path=/main/trunk/; revision=8403

if mode=1 and `dialog` is not usable, abort #197990 by DominikBuerkle

svn path=/main/trunk/; revision=8402

Bug #197965 - When fetch() encounters a checksum failure,
look for an identical file from a previous checksum failure
in order to avoid consuming unnecessary disk space with
duplicate files.

svn path=/main/trunk/; revision=8401

Fix update_config_files() so that it uses update_dbentry()
to handle update commands since that already supports
slotmove commands for SLOT atoms.

svn path=/main/trunk/; revision=8397

Remove redundant code from previous commit.

svn path=/main/trunk/; revision=8392

Bug #197932 - Make dbapi._cpv_sort_ascending()
preserve explicit -r0 for consistency in findname
and aux_get calls.

svn path=/main/trunk/; revision=8390

TODO: Make update_config_files() handle slotmove commands for SLOT atoms.

svn path=/main/trunk/; revision=8387

In portage.fetch(), condense digest check output to a single
line for all digests.

svn path=/main/trunk/; revision=8385

Sort scanlist and ebuildlist to ensure that repoman always
processes packages in a predictable order.

svn path=/main/trunk/; revision=8383

Make portdbapi.gvisible() use portdbapi._aux_cache_keys
for metadata pulls.

svn path=/main/trunk/; revision=8381

Return early from config.getMaskAtom() as soon as a matching
unmask atom is found.

svn path=/main/trunk/; revision=8379

Bug #197594 - Document FEATURES="lmirror".

svn path=/main/trunk/; revision=8373

Make sure vardbapi.cp_list() always sorts the results.

svn path=/main/trunk/; revision=8366

Fix ignore_priority logic in depgraph.altlist() in order
to handle some cases where it was possible for nodes to
be selected without their PDEPENDs being propperly added
to the asap_nodes list.

svn path=/main/trunk/; revision=8360

Collapse 2 identical code hunks into 1.

svn path=/main/trunk/; revision=8359

Optimize merge order to try and select nodes that only have
unsatisfied PDEPEND slightly earlier. This solves a problem
with xorg-server being merged too early during an all binary
install (since DEPEND is ignored for binaries), triggering
built_with_use() calls to fail as reported in bug #189966.
Since DEPEND is discarded in cases like this, it is
important to exploit the difference between PDEPEND and
RDEPEND in order to optimize merge order. Without this
optimization, the merge order is technically correct, but
not as optimal as it should be and has lots of potential to
trigger issues with built_with_use() or similar things that
require better optimization of merge order.

svn path=/main/trunk/; revision=8358

In the 'there are no ebuilds to satisfy "foo"' message, discard
null/ from failed cpv_expand category expansion.

svn path=/main/trunk/; revision=8357

Properly escape { and } characters in regular expressions even
though it seems to work either way.

svn path=/main/trunk/; revision=8355

Remove an extra \$ from the EbuildQuote.var_reference regex
so that it will properly match things like variable references
without braces, like $S.

svn path=/main/trunk/; revision=8354

Make the EbuildUselessCdS check for both quoted and unquoted ${S}
so the user doesn't have to fix quoting before this check will
recognize the violation.

svn path=/main/trunk/; revision=8353

Avoid making unnecessary copies of PackageSet._atoms by
replacing calls to self.getAtoms() with self._load().

svn path=/main/trunk/; revision=8352

Add a check for redundant cd "${S}" statements on the first
line of src_(compile|install|test) ebuild methods. Thanks to
Petteri Räty <betelgeuse@gentoo.org> for this patch.

svn path=/main/trunk/; revision=8351

Make depgraph.select_files() recursively expand sets given as
arguments so that containment tests in _get_parent_sets()
properly match atoms in nested sets (like if world contains
system). Otherwise, atoms from nested sets would get recorded
in the world file.

svn path=/main/trunk/; revision=8350

Fix diefunc() so that it doesn't report that the ebuild is from
an overlay when EMERGE_FROM == binary.

svn path=/main/trunk/; revision=8349

Update the FEATURES=mirror docs to more accurately reflect behavior.

svn path=/main/trunk/; revision=8348

Defer selection of package dependency atoms until they are
actually needed since the appropriate atom selection behavior
can change between the time that the package is initially
added to the graph and when it's dependencies are traversed
(like when --consistent is enabled).

svn path=/main/trunk/; revision=8347

Gather some ignored dependencies so that they can be properly
processed by the depgraph when "conistent" mode is enabled.

svn path=/main/trunk/; revision=8346

Remove a few unused depgraph attributes.

svn path=/main/trunk/; revision=8345

Fix "args" set handling wrt $ROOT in depgraph._complete_graph().

svn path=/main/trunk/; revision=8344

Implement license filtering for xmatch minimum-visible and
bestmatch-visible. Also, make the gvisible license filtering
conditional on config.local_config since repoman doesn't do
license filtering.

svn path=/main/trunk/; revision=8343

Optimize xmatch "bestmatch-visible" to do fewer metadata
accesses by using the same code as "minimum-visible" but
with a reverse iterator.

svn path=/main/trunk/; revision=8342

Implement a "consistent" depgraph parameter (enabled by --consistent)
that can be used ensure that installation of new packages does not
break any deep dependencies of required sets (args, system, or world).
Unfortunately, the performance penalty for small dep calculations is
too great to enable this parameter by default. At least it will be
useful for testing backtracking behavior when that is implemented.

svn path=/main/trunk/; revision=8341

Use rstrip("\n") to remove trailing newlines from
CONTENTS lines.

svn path=/main/trunk/; revision=8338

Rewrite the dblink.getcontents() code to use str.split(" ")
for splitting CONTENTS lines so that even file paths that
end with spaces can be handled. This patch makes the fix for
bug #196836#c6 more complete. Some code for parsing old
malformed symlink entries has been removed sinces it's
probably not useful or worth maintaining anymore.

svn path=/main/trunk/; revision=8337

Make portdbapi.cp_list() use os.listdir() instead of
portage.listdir() since portage.listdir() has unnecessary
overhead and it's cache isn't needed since cp_list() has
it's own cache.

svn path=/main/trunk/; revision=8336

Fix PackageSet.getAtoms() and getNonAtoms() so that they
don't return references to private data structures.

svn path=/main/trunk/; revision=8335

Fix --depclean to use SetConfig.getSetAtoms() and also fix a
broken reference to packagesets which is now settings.sets.

svn path=/main/trunk/; revision=8334

Fix SetConfig.getSetAtoms() to stop initializing ignorelist
in the parameter list since otherwise the ignorelist persists
between calls and causes unpredictable results for callers.

svn path=/main/trunk/; revision=8333

Optimize stdout_spinner.update() methods so that they don't
waste cpu time by flushing ouput to the tty too frequently.

svn path=/main/trunk/; revision=8332

Fix cp_list() to prevent it from returning a reference
to one of it's internal lists.

svn path=/main/trunk/; revision=8331

Sort all dbapi.cp_list() results in ascending order and
cache the results when possible. The order is preserved
in dbapi.match() so those results are also sorted.

svn path=/main/trunk/; revision=8329

Replace depgraph._slot_node_map with _slot_pkg_map so
that it's easier to get existing Package instances.

svn path=/main/trunk/; revision=8324

Make depgraph._select_atoms() more flexible by allowing
the repositories to be passed in as a parameter.

svn path=/main/trunk/; revision=8319

Reuse an existing EmergeConfig instance instead of
constructing a new one.

svn path=/main/trunk/; revision=8318

Fix broken $ROOT handling for setconfig in the MergeTask
constructor.

svn path=/main/trunk/; revision=8317

In portage.fetch(), condense digest check ouput to a single
line for all digests.

svn path=/main/trunk/; revision=8316

Optimize repoman to share portdbapi.cp_list() results
between all profiles since those results never change.
The cached results also propagate to the xmatch
match-all when appropriate (old-style virtuals are
excluded since they are profile dependent).

svn path=/main/trunk/; revision=8313

Add missing break statement for xmatch minimum-visible.

svn path=/main/trunk/; revision=8310

Optimize repoman visibility checks to access as little
metadata as possible. (improves performance especially
in cases where metadata needs to be generated). This
works by starting at the lowest version since that's
most likely to have keywords and it returns as soon as
the first visible package is found.

svn path=/main/trunk/; revision=8309

Make emerge add sets to the world file as one would expect.

svn path=/main/trunk/; revision=8308

Allow sets to get through world file validation and
expand properly. It's now possible to put @system
in the world file and get the old behavior where
world includes system.

svn path=/main/trunk/; revision=8307

Prevent premature expansion of old-style virtuals
inside depgraph.select_files().

svn path=/main/trunk/; revision=8306

Optimize the algorithm used for expansion of set
arguments into atoms.

svn path=/main/trunk/; revision=8305

update notes about package sets

svn path=/main/trunk/; revision=8304

break potential cycles in set expansion

svn path=/main/trunk/; revision=8303

use SetConfig.getSetAtoms instead of PackageSet.getAtoms for expanding sets to allow recursion, and drop the default 'sets/' prefix for setnames

svn path=/main/trunk/; revision=8302

use a @ prefix for sets, and replace world/system with their real prefixed names if found on the commandline

svn path=/main/trunk/; revision=8301

Allow sets to contain non-atoms

svn path=/main/trunk/; revision=8300

FIX: indentation problem, also end the Portage identification
line with a ) if repoman wasn't forced to do its job.
(branches/prefix r8281)

svn path=/main/trunk/; revision=8296

Fix: Make repoman actually USE -m commit message again (and -M
commit message file). (branches/prefix r8280)

svn path=/main/trunk/; revision=8295

Correct expected split counts for CONTENTS lines.

svn path=/main/trunk/; revision=8294

Handle a potential IndexError.

svn path=/main/trunk/; revision=8293

Remove obsolete whitespace handling code for "obj" filenames
in CONTENTS.

svn path=/main/trunk/; revision=8292

Handle multiple consecutive spaces in filenames as per
bug #196836#c6.

svn path=/main/trunk/; revision=8291