Bug #233487 - Fix --fetch-all-uri breakage:

* Make --fetch-all-uri imply --fetchonly so that all the --fetchonly
  conditionals apply to --fetch-all-uri as well.

* Add an EbuildFetcher.fetchall attribute, and also add the required
  support to portage.doebuild() for a "fetchall" phase that EbuildFetcher
  can invoke in the background via the ebuild(1) command.

svn path=/main/trunk/; revision=11303

Fix DowngradeSet so it's safe for cases when no ebuild is available.

svn path=/main/trunk/; revision=11300

Bug #233253 - Implement a @downgrade set which selects packages for which
the highest visible ebuild version is lower than the currently installed
version. This is useful if you have installed packages from an overlay and
you want to downgrade to the highest visible after removing the overlay,
even though the packages that will be dowgraded are not necessarily masked
in any way.

svn path=/main/trunk/; revision=11299

Always invalidate results from _userpriv_test_write_file_cache when
adjusting permissions on a given directory.

svn path=/main/trunk/; revision=11298

Bug #233458 - Fix AsynchronousTask exit listener handling so that an exit
listener will never get called after it's been passed into
removeExitListener(), since the caller of removeExitListener() needs to
be able to be able to trust that the given exit listener will not be
called under any circumstances.

svn path=/main/trunk/; revision=11297

Describe InheritSet and OwnerSet.

svn path=/main/trunk/; revision=11296

* Rename @live-ebuilds to @live-rebuild, for consistency with the other
  *-rebuild sets.
* Document the new sets.

svn path=/main/trunk/; revision=11295

Remove quotes since the seem to cause incorrect results.

svn path=/main/trunk/; revision=11294

Add a new @module-rebuild set which emulates the behavior of the
module-rebuild tool. The /lib/modules path is set in sets.conf
via a "files" attribute of an OwnerSet instance. This can be easily
used to define similar sets based on paths on installed files.

svn path=/main/trunk/; revision=11293

Implement a new @live-ebuilds which is generated from installed packages
that inherit from know live eclasses such as cvs, darcs, git, mercurial,
and subversion. The list of eclasses is controlled by an "inherits"
attribute that is configure in sets.conf for and instance of InheritSet.
This set serves a purpose similar to the -scm ebuild suffix that has
been proposed in GLEP 54.

svn path=/main/trunk/; revision=11292

disable default IONICE command as it breaks for non-root, and ionice might not always be available

svn path=/main/trunk/; revision=11291

Fixes in portage.fetch() for bugs #233303 and #94133:

* Totally skip $DISTDIR creation if the fetch_to_ro feature is enabled.
* Don't touch $DISTDIR permissions unless unless usepriv and/or userfetch
  are enabled.
* When usepriv and/or userfetch are enabled, test whether or not a process
  that has dropped privileges is able to create a file in the directory,
  and only adjust permissions if the test fails.

* Completely

svn path=/main/trunk/; revision=11290

Split out a _spawn_fetch() function that will be useful for implementing a
userpriv testcase for bug #233303.

svn path=/main/trunk/; revision=11289

Bug #233421 - Fix grammar, missing "be" in --update description. Thanks to
Mikael Magnusson for this patch.

svn path=/main/trunk/; revision=11288

Fix typo.

svn path=/main/trunk/; revision=11284

Update foo[!bar=] syntax.

svn path=/main/trunk/; revision=11283

* Fix Scheduler._restart_if_necessary() breakage so that the given package
  is correctly compared to the last one in the merge list.
* Update code in depgraph.display() to be more consistent with the code
  in Scheduler._is_restart_necessary().

svn path=/main/trunk/; revision=11282

Remove redundant use dep validation code that's handled by regular expression
now.

svn path=/main/trunk/; revision=11281

Remove unused variable.

svn path=/main/trunk/; revision=11280

* Add more use dep validation.
* Fix broken handling of !foo? reported by ABCD.

svn path=/main/trunk/; revision=11279

When checking for news items in --pretend mode, pass update=False into
the NewsManager.getUnreadItems() call. Emerge shouldn't have to update
anything anyway when in --pretend mode, and this helps to avoid potential
permission problems. In order to pass the relevant information about
options (--pretend state) to the new code, supporting function parameters
have been added to display_news_notification(), post_emerge(), and
checkUpdatedNewsItems().

svn path=/main/trunk/; revision=11278

Put a 5 second cap on the delay produced by Scheduler._job_delay().

svn path=/main/trunk/; revision=11277

Just return a boolean "state changed" value from
Scheduler._schedule_tasks_imp(), since the other
"remaining" part is now unused.

svn path=/main/trunk/; revision=11276

* Optimize SequentialTaskQueue.schedule() by using a _dirty attribute
  to track whether anything relevant has changed since the last schedule
  call. Since we can always rely on exist listeners being called, set of
  running tasks is always pruned automatically and there is never any need
  to actively prune it.
* Remove the unused SequentialTaskQueue.auto_schedule feature.

svn path=/main/trunk/; revision=11275

Change conditional USE deps syntax and expermental EAPI from 2_pre0 to 2_pre1.

Conditional syntax examples:

Compact Form        Equivalent Expanded Form

foo[bar?]           bar? ( foo[bar]  ) !bar? ( foo       )
foo[!bar?]          bar? ( foo       ) !bar? ( foo[-bar] )
foo[bar=]           bar? ( foo[bar]  ) !bar? ( foo[-bar] )
foo[!bar=]          bar? ( foo[-bar] ) !bar? ( foo[bar]  )

svn path=/main/trunk/; revision=11274

Count state changes in Scheduler._schedule_tasks() and avoid some extra calls
when nothing changes.

svn path=/main/trunk/; revision=11273

Fix _choose_pkg() to always return something if nothing is running or merging.

svn path=/main/trunk/; revision=11272

Avoid triggering a tight loop AssertionError in Scheduler._main_loop().

svn path=/main/trunk/; revision=11271

Fix the last part of Scheduler._main_loop() to work correctly now that
all the queues have auto_schedule disabled.

svn path=/main/trunk/; revision=11270

Disable auto_schedule on all of Scheduler._task_queues and schedule them
inside _schedule_tasks(). This should help solve a tight loop.

svn path=/main/trunk/; revision=11269

Add a quiet signal handler for SIGINT and SIGTERM since emerge calls ebuild
for fetchs and we don't want the user to see a traceback due to the ebuild
process getting killed.

svn path=/main/trunk/; revision=11268

Fix Scheduler._set_digraph() to correctly handle cases when max_jobs is True.

svn path=/main/trunk/; revision=11267

Make sure Scheduler._choose_pkg() doesn't return a package too early when
there's no digraph and the previous merge hasn't completed yet.

svn path=/main/trunk/; revision=11266

Fix Scheduler._choose_pkg() so that it doesn't choose packages prematurely
in some cases.

svn path=/main/trunk/; revision=11265

Enable Scheduler._job_delay() whenever --load-average is enabled, for whole
time the scheduler is running. This protects against too many jobs being
sheduled if the load average temporarily drops.

svn path=/main/trunk/; revision=11264

During the first minute of entering the main scheduler loop, if --load-average
is enabled then limit the rate that new jobs are spawned, so that the load
average measurement has time to respond to the new load introduced by the
new jobs. The time between spawning new jobs is proportional to the number
of currently running jobs.

svn path=/main/trunk/; revision=11263

Fix slightly broken loop logic in insert_optional_args() by converting it to
pop args off of a stack.

svn path=/main/trunk/; revision=11262

Add support for the --jobs option to be specified without an
argument, and also support -j as a short option. Since optparse
doesn't natively support options with non-required args, create an
insert_optional_args() function that inserts the required argument
into the args so that optparse is happy. The function inserts the
string True as a substitute for the argument that is required. This
string is later converted to the True constant when stored in
the emerge opts dict (similar to how normal boolean options are
stored). The PollScheduler and SequentialTaskQueue classes recognize
the meaning of the True constant to mean unlimited concurrent jobs.

svn path=/main/trunk/; revision=11261

In apply_recursive_permissions(), ignore InvalidLocation exceptions such as
FileNotFound and DirectoryNotFound since sometimes things disappear, like
when adjusting permissions on DISTCC_DIR.

svn path=/main/trunk/; revision=11260

Tweak table alignment.

svn path=/main/trunk/; revision=11259

Implement _use_dep.__nonzero__().

svn path=/main/trunk/; revision=11258

Fix _use_dep.__str__() to work correctly in the case when conditional USE
deps have evaluated to nothing (empty string rather than []). Thanks to
ABCD for reporting.

svn path=/main/trunk/; revision=11257

Redirect the FEATURES=buildsyspkg message to the log when in background mode.

svn path=/main/trunk/; revision=11256

Add syntax examples for unconditional USE deps.

svn path=/main/trunk/; revision=11255

Fix alignment.

svn path=/main/trunk/; revision=11254

Tweak the conditional USE deps examples.

svn path=/main/trunk/; revision=11253

Document the doman language code path translation extension from bug #222439.

svn path=/main/trunk/; revision=11252

Make use of the new config.iteritems() method.

svn path=/main/trunk/; revision=11251

Fix broken reference to "categories" in CategorySet.singleBuilder(). Thanks
to Thargor for reporting.

svn path=/main/trunk/; revision=11250

Bug #233165 - When waiting for jobs and merges to finish in
Scheduler._main_loop(), keep scheduling the merge queue since
it doesn't autoschedule, and skip the poll loop if there no
event handlers due to synchronous merge tasks being the only
things left to do.

svn path=/main/trunk/; revision=11249

Bug #233103 - In portage.fetch(), pass all config variables instead of just
those returned by the environ() method which is filtered.

svn path=/main/trunk/; revision=11245

Even though the message is split on $'\n' in elog_base(), it's still
not entirely safe to use it as a delimiter in the log file since
there can still be escaped newlines that will be expanded due to
the echo -e parameter.

svn path=/main/trunk/; revision=11244

Remove pointless generator expression.

svn path=/main/trunk/; revision=11238

Add note about support for EAPI="2_pre0".

svn path=/main/trunk/; revision=11236

Create a table to document conditional USE dependency syntax.

svn path=/main/trunk/; revision=11235

Fix arg count when constructing a TypeError in the SlotDict constructor.

svn path=/main/trunk/; revision=11234

Add support for an new EAPI="2_pre0" value so that people who want to test
USE deps can set the EAPI to something other than 0 or 1. We can support as
many different experimental EAPI values as we need, and drop support for them
when the final EAPI 2 is defined.

svn path=/main/trunk/; revision=11233

Disable the multi-bracket USE deps syntax, so only the comma separated syntax
is now valid.

svn path=/main/trunk/; revision=11232

Implement new conditional USE dep syntax:

Conditional evaluation behavior:

parent state   conditional   result

 x              x?            x
-x              x?
 x             -x?
-x             -x?           -x

 x              x=            x
-x              x=           -x
 x             x!=           -x
-x             x!=            x

Conditional syntax examples:

compact form         equivalent expanded form

 foo[bar?]           foo  bar? (  foo[bar] )
foo[-bar?]           foo !bar? ( foo[-bar] )
 foo[bar=]           foo  bar? (  foo[bar] ) !bar? ( foo[-bar] )
 foo[bar!=]          foo  bar? ( foo[-bar] ) !bar? (  foo[bar] )

svn path=/main/trunk/; revision=11231

Create a SlotDict constructor which can take an optional positional arg that
is passed to the update() method (similar to the dict constructor), and also
pass keyword arguments into the update() method if any are given. This makes
it possible to use the constructor similarly to the way that the
_emerge.SlotObject constructor is used.

svn path=/main/trunk/; revision=11230

* Add support in dep_getusedeps() and isvalidatom() for comma separated USE
  deps that only have one set of square brackets.
* Add test cases for the new comma separated USE deps syntax.

svn path=/main/trunk/; revision=11229

Bug #233137 - Implement Atom.split().

svn path=/main/trunk/; revision=11228

Fix incorrect logging.exception() arguments. The exception instance is not
supposed to be passed into this function.

svn path=/main/trunk/; revision=11227

Fix the new glep56 code to handle missing metadata.xml. Thanks to jmbsvicetto
for reporting.

svn path=/main/trunk/; revision=11226

Fix EbuildFetcher to pass all config variables to the fetcher so things
like http_proxy are included.

svn path=/main/trunk/; revision=11223

Update path to make.conf.example. Thanks to Arfrever.

svn path=/main/trunk/; revision=11222

Use ${NORMAL} to properly restore color when necessary.

svn path=/main/trunk/; revision=11221

Make elog_base() just use \n as the delimiter in the file since it's safe
now that lines are always split.

svn path=/main/trunk/; revision=11220

Make all the elog functions split lines when displaying output, just like
elog_base() does when saving it.

svn path=/main/trunk/; revision=11219

Add support to elog_base() to split messages on newlines automatically.
Thanks to Arfrever for the suggestion.

svn path=/main/trunk/; revision=11218

Fix breakage from r11213 in INHERITED values returned from portdbapi.aux_get().

svn path=/main/trunk/; revision=11217

Fixes from Arfrever:
* Highlight the "Files built without respecting LDFLAGS" QA Notice with red.
* Remove scanelf-ignored-LDFLAGS.log when empty.

svn path=/main/trunk/; revision=11216

Serialize src_unpack() $DISTDIR access for live ebuilds since otherwise they
can interfere with eachother. This will have to rely on a hardcoded list of
eclasses until we create way to properly tag this information in the metadata.

svn path=/main/trunk/; revision=11213

* Define a frozenset of live eclasses for the LIVEVCS.stable check.
* Add "mercurial" to the list of known live eclasses.

svn path=/main/trunk/; revision=11210

Fix repoman not seeing subversion auto-ignored files (such as patch rejects and editor backup copies), thereby causing messed up Manifests.  This fix should be merged in the trunk.
(branches/prefix r11208)

svn path=/main/trunk/; revision=11209

Temporarily `set -o noglob` when splitting QA_DT_HASH.

svn path=/main/trunk/; revision=11206

Bug #233077 - Add QA check which verifies that LDFLAGS are respected. For now
this only works when LDFLAGS contains --hash-style=gnu since in this case the
the elf files should not contain .hash sections and we can use scanelf to
check whether or not the those sections exist. This adds a QA_DT_HASH variable
that is analogous to existing QA control variables documented in the ebuild.5
man page. There is also a complementary QA_STRICT_DT_HASH variable that can
be set in make.conf in order to ignore QA_DT_HASH settings in ebuilds. Thanks
to Arfrever Frehtes Taifersar Arahesis for this patch which I've tweaked in
just a few minor ways.

svn path=/main/trunk/; revision=11205

Schedule ebuild pkg_setup phases on the merge queue,
in order to serialize unsandboxed access to the live
filesystem.

svn path=/main/trunk/; revision=11204

In PollScheduler._poll(), add a call to _schedule() in order to ensure that
event handlers are registered if possible. If not, raise StopIteration in
order to avoid endless blocking in a poll call with no file descriptors
registered. Add StopIteration exception handling for all
PollScheduler._poll._next_poll_event() calls.

svn path=/main/trunk/; revision=11203

Fix AsynchronousTask.removeStartListener() and removeExitListener() to return
early if there are no listeners.

svn path=/main/trunk/; revision=11202

Fix LinkageMap.findConsumers() to check whether the master link for a lib
providing a given soname actually points to that lib. If there is another
version of this lib with the same soname and the master link points to
that other version, this lib will be shadowed and won't have any consumers.
By eliminating false, positives this way, we avoid the following state
after upgrade from media-libs/mesa-7.0.3 to media-libs/mesa-7.1_rc3:

# scanelf -S /usr/lib64/libGLU.so*
 TYPE   SONAME FILE
ET_DYN libGLU.so.1 /usr/lib64/libGLU.so
ET_DYN libGLU.so.1 /usr/lib64/libGLU.so.1
ET_DYN libGLU.so.1 /usr/lib64/libGLU.so.1.3
ET_DYN libGLU.so.1 /usr/lib64/libGLU.so.1.3.070003
ET_DYN libGLU.so.1 /usr/lib64/libGLU.so.1.3.070100 <- shadowed lib

Thanks to Diego "Flameeyes" Pettenò for reporting this issue.

svn path=/main/trunk/; revision=11200

* Use pure bash ${PARAMETER%/*} instead of spawing`dirname`.
* Break out of loop as early as possible when searching for libs in ${D}.

svn path=/main/trunk/; revision=11199

Split out an apply_priorities() function to apply nice and ionice settings.

svn path=/main/trunk/; revision=11198

Bug #232924 - When the user specifies a non-existent set, display a list of
existing sets.

svn path=/main/trunk/; revision=11197

Bug #228085 - In the event of a file collision, the explanation about the
collision and how to solve it may not be visible via a scrollback buffer,
especially if the number of file collisions is large. Therefore, show a
summary at the end and refer the user to the elog messages.

svn path=/main/trunk/; revision=11196

Replace hardcoded i386 machine name in dyn_rpm() with the result of `uname -m`.

svn path=/main/trunk/; revision=11195

* For bug 227625, automatically create the /usr/src/rpm/SOURCES directory when
  necessary.

* Add `cd "${T}"` at the beginning of dyn_rpm() since the spec file is written
  to $PWD.

svn path=/main/trunk/; revision=11194

Reduce the default PORTAGE_IONICE_COMMAND priority to "idle" priority since
it's probably suitable for most people. This way, even when the IO load is
very high, the impact on system responsiveness should be practically
unnoticeable.

svn path=/main/trunk/; revision=11193

Add PORTAGE_IONICE_COMMAND setting for make.conf which is called to adjust
IO priority on portage and it's subprocesses.

svn path=/main/trunk/; revision=11192

Suppress "for /" and "to /" in status messages when ROOT=/. Thanks to
Thargor for the suggestion.

svn path=/main/trunk/; revision=11191

Fix PORTAGE_BIN_PATH typo in EbuildFetcher._start().

svn path=/main/trunk/; revision=11190

Detect an invalid cpv passed into portdbapi.findname2() and raise an
InvalidPackageName exception. This avoids silent or nonsense errors
later on.

svn path=/main/trunk/; revision=11188

Cancel prefetchers if they're the only reason the main poll loop is still
running.

svn path=/main/trunk/; revision=11185

When in background mode and there is a single failure, dump the whole build
log for convenience.

svn path=/main/trunk/; revision=11184

* Refer user to make.conf(5) if PORTAGE_IONICE_COMMAND fails.
* Document that PORTAGE_IONICE_COMMAND can be disabled by setting it
  to an empty string.

svn path=/main/trunk/; revision=11183

Bug #206773 - Add a new PORTAGE_IONICE_COMMAND variable that emerge uses
to adjust ionice priority, similar to PORTAGE_NICENESS but used more like
FETCHCOMMAND since so that portage doesn't have to know anything about
ionice options. The command should include a \${PID} place-holder to be
substituted with an integer pid.

svn path=/main/trunk/; revision=11182

Bug #228117 - Insert a trailing newline in the getconfig() input file as
necessary to avoid a silent error in shlex that is triggered by a source
statement at the end of the file without a trailing newline after the source
statement. To solve this problem, derive a special file class that inserts
a newline just before eof when necessary.

svn path=/main/trunk/; revision=11181

Fix bug in get_repo_path() when called with multiple args.

svn path=/main/trunk/; revision=11179

Fix typo, found by pyflakes.

svn path=/main/trunk/; revision=11178

Avoid "0 files checked ..." messages reported by Pesa.

svn path=/main/trunk/; revision=11177