Bug #228117 - Insert a trailing newline in the getconfig() input file as
necessary to avoid a silent error in shlex that is triggered by a source
statement at the end of the file without a trailing newline after the source
statement. To solve this problem, derive a special file class that inserts
a newline just before eof when necessary.

svn path=/main/trunk/; revision=11181

Fix bug in get_repo_path() when called with multiple args.

svn path=/main/trunk/; revision=11179

Fix typo, found by pyflakes.

svn path=/main/trunk/; revision=11178

Avoid "0 files checked ..." messages reported by Pesa.

svn path=/main/trunk/; revision=11177

Fix --depclean/--prune regressions reported by selkin:

 * Make --with-bdeps default to "y" for removal actions.

 * Treat unsatisfied build time dependencies as "soft" for removal actions,
   even when --with-bdeps=y.

svn path=/main/trunk/; revision=11176

Add sandbox write access to PORTAGE_PYM_PATH before importing portage in
order to avoid sandbox violations after python upgrade.

svn path=/main/trunk/; revision=11175

Add GENTOO_MIRRORS to the variables exported by EbuildFetcher.

svn path=/main/trunk/; revision=11173

Make --fetchonly disable background mode.

svn path=/main/trunk/; revision=11170

Handle UnsatisfiedResumeDep in Scheduler._calc_resume_list().

svn path=/main/trunk/; revision=11169

Update --depclean and --prune, removing warnings about libraries since those
are now automatically accounted for.

svn path=/main/trunk/; revision=11168

In dblink.unmerge(), redirect preserve-libs "!needed" messages to the log file
when in background mode.

svn path=/main/trunk/; revision=11167

Fix resume_depgraph() so that it doesn't raise an AssertionError due to
unsatisfied PDEPEND.

svn path=/main/trunk/; revision=11166

Show the number of failed packages in the status display.

svn path=/main/trunk/; revision=11165

Redirect build log eqawarn messages to the log file when in background mode.

svn path=/main/trunk/; revision=11164

Disable "Installing" status messages when in --pretend or --buildpkgonly
mode.

svn path=/main/trunk/; revision=11163

Make --pretend disable background mode and imply --jobs=1.

svn path=/main/trunk/; revision=11162

Redirect dblink._preserve_libs() messages to the log when in background mode.

svn path=/main/trunk/; revision=11161

Adjust status messages for --fetchonly mode.

svn path=/main/trunk/; revision=11160

Adjust --fetchonly failure messages to work better with background mode.

svn path=/main/trunk/; revision=11159

Fix --depclean/--prune to add lib providers and their dependencies to the
graph and create a new clean list when necessary. This completes the fix
for bug #230053.

svn path=/main/trunk/; revision=11158

Add initial lib awareness for --depclean and --prune. Currently it will simply
bail out if the clean list contains a package that will cause link breakage
if removed. TODO: Calculate a new cleanlist instead of bailing out, and
implement a package set for rebuilding consumers.

svn path=/main/trunk/; revision=11157

In dblink.findProviders(), clone the "path" variable before extending it
since obviously it shouldn't grow each time that findProviders() is called.

svn path=/main/trunk/; revision=11156

In dblink._preserve_libs(), strip leading $ROOT from contents paths so that
it works when $ROOT != /.

svn path=/main/trunk/; revision=11155

Fix breakage in the depclean/prune unsatisfied deps handling.

svn path=/main/trunk/; revision=11154

Fix typo.

svn path=/main/trunk/; revision=11153

For --depclean and --prune, eliminate duplicate graph creation code by re-using
the depgraph class to do it. The depgraph class was used in the past for this
purpose but back then it didn't handle USE flags correctly for installed
packages. Now it works fine.

svn path=/main/trunk/; revision=11152

Redirect the 'Recording <pkg> in "world" favorites file...' message through
_status_msg().

svn path=/main/trunk/; revision=11151

Fix broken references to the old elog_modules namespace.

svn path=/main/trunk/; revision=11150

Redirect some more unmerge() output through writemsg_level() so that it can
filtered out when in background mode.

svn path=/main/trunk/; revision=11147

Fix Scheduler emergelog() interaction to properly disable emergelog()
xterm titles whenever the status display is enabled.

svn path=/main/trunk/; revision=11146

* Clean up _schedule_tasks_imp() a bit.
* Make _task() access _background directly instead of as a parameter.

svn path=/main/trunk/; revision=11145

Make PollScheduler._poll() add poll events to the stack instead of returning
them. This makes it more useful as a hook, allowing Scheduler._poll() to
safely call _schedule().

svn path=/main/trunk/; revision=11144

Merge tasks currently run synchronously which makes it necessary to disable
auto_schedule on the merge queue in order to avoid excess recursion which
prevents tasks from being marked complete as soon as they should be.

svn path=/main/trunk/; revision=11143

Fix Scheduler._schedule_tasks_imp() so that it never indicates that there
are remaining tasks in cases when it's supposed to bail out due to a
package failure.

svn path=/main/trunk/; revision=11142

Calling _schedule() from Scheduler._poll() is unsafe since the _schedule()
call itself can consume poll events. Therefore, until a safe way exists,
don't do it.

svn path=/main/trunk/; revision=11141

Use the memoized _choose_pkg() result to return earlier from
_schedule_tasks() when possible.

svn path=/main/trunk/; revision=11140

When Scheduler._choose_pkg() is unable to find a package, memoize the result
until at least one of the existing jobs completes.

svn path=/main/trunk/; revision=11139

Bug #231464 - Replace erroneous "return" statement in elog_process() with
a continue statement. Thanks to TGL for this patch.

svn path=/main/trunk/; revision=11138

Instead of calling _background_mode(), use the cached result.

svn path=/main/trunk/; revision=11137

Fix JobStatusDisplay._init_term() to supply default codes in cases when
curses.tigetstr() returns None.

svn path=/main/trunk/; revision=11136

* Call self._schedule() from inside Scheduler._poll(). This ensures that
  new jobs can scheduled as soon a the load average is low enough, and
  one of the running jobs doesn't have to complete for _schedule() to
  get called.

* Cache the result of _background_mode() so it doesn't have to be called
  inside _schedule(), since this method is called a lot more often now.

* Move background related state adjustments into _background_mode().

* Call _status_display.display() unconditionally inside _schedule_tasks(),
  since we want to update the display to show current load average even
  if no new jobs are added.

svn path=/main/trunk/; revision=11135

Fix typos.

svn path=/main/trunk/; revision=11134

Add a Scheduler._background_mode() method to control background mode, and
trigger it if either --quiet is enabled or --jobs > 1.

svn path=/main/trunk/; revision=11133

Display "Verifying ebuild manifests" and "Starting parallel fetch" via
the status display instead of directly to stdout.

svn path=/main/trunk/; revision=11132

Add a hook in Scheduler._poll() that updates the display once every 2 seconds
if stdout is a tty, so that the load average numbers are always current.

svn path=/main/trunk/; revision=11131

Make all poll() calls pass through PollScheduler._poll().

svn path=/main/trunk/; revision=11130

When JobStatusDisplay.displayMessage() is called while the status is currently
displayed, call display() after showing the given message.

svn path=/main/trunk/; revision=11129

Add support to JobStatusDisplay() to update the current line on the terminal,
which in the future can be used to erase the line and update it with new
information such as the latest load average measurement. This uses curses
to obtain the simple control codes that are needed, and has fallback codes
in case the curses module is unavailable or raises an error. When stdout
is not a tty then the line erasing behavior is automatically disabled and
display updates are simply show on a new line.

svn path=/main/trunk/; revision=11128

Add a MergeListItem.statusMessage(msg) callback for displaying messages like
"Building this" or "Installing that". This delegates the resposibility of
generating \r and \n control characters, to guarantee that lines are created
or erased when necessary and appropriate. TODO: Make JobStatusDisplay display
the output.

svn path=/main/trunk/; revision=11127

Bug #199788 - Make repoman parse GLEP 56 USE flag descriptions from
metadata.xml (in addition to use.local.desc). Thanks to Doug Goldstein
<cardoe@g.o> for this patch.

svn path=/main/trunk/; revision=11126

Fix typo.

svn path=/main/trunk/; revision=11124

Suppress counter initialization warning messages in
vardbapi.get_counter_tick_core() in cases when the vdb is empty. This
avoids pointless error messages when merging packages into a new root,
like when building stage 1.

svn path=/main/trunk/; revision=11123

Add background output redirection and async ebuild phase support for
PackageUninstall (automatic uninstalls that solve blockers).

svn path=/main/trunk/; revision=11122

Change package status messages to give more accurate information about what
is happening at a given time:

 * Change "Emerging" messages to "Building" for ebuilds and "Extracting" for
   binary packages.

 * Change "Merging" messages to "Installing" and "Uninstalling".

svn path=/main/trunk/; revision=11121

In dblink._dblink_display_merge(), when in background mode and no log is
available, suppress output when level < logging.WARNING. This hides
">>> Regenerating /etc/ld.so.cache..." messages that appear after postrm
when PORT_LOGDIR is unset (the log file if it exists is removed after
postrm so there's no place to log the message).

svn path=/main/trunk/; revision=11120

Use dblink._eerror() to eliminate duplicate code.

svn path=/main/trunk/; revision=11119

If an problem is detected in dblink._security_check(), log it via elog so
that it's properly displayed in the foreground even when in background mode.

svn path=/main/trunk/; revision=11118

Redirect dblink elog messages from stdout to the log file when in background
mode. This is implemented by adding a new "out" parameter to the
portage.elog.e* functions, which can be used to send output to an arbitary
file instead of stdout.

svn path=/main/trunk/; revision=11117

When dblink is looping over files for merge/unmerge, temporarily yield to the
scheduler each time a fixed number of files are processed (currently 20).
This gives the scheduler an opportunity to service pending poll events. This
is implemented with a new PollScheduler._schedule_yield() method which calls
poll() exactly once, without blocking, and any services any resulting poll
events.

svn path=/main/trunk/; revision=11116

Also, reset "merges" in JobStatusDisplay.reset().

svn path=/main/trunk/; revision=11115

Initialize JobStatusDisplay.merges since it's not initialized with the bound
properties anymore.

svn path=/main/trunk/; revision=11114

Also, don't count "merges" as changes in the status display.

svn path=/main/trunk/; revision=11113

Since it's not very interesting, disable the "merges" part of status display.

svn path=/main/trunk/; revision=11112

Fix identation (tabnanny complains about this) branches/prefix r11110

svn path=/main/trunk/; revision=11111

Reformat the status display. Here's an example:

>>> Jobs: 0 of 2 complete, 2 running             Load average: 2.9, 2.4, 2.0
>>> Jobs: 0 of 2 complete, 1 running, 2 merges   Load average: 2.8, 2.4, 2.0
>>> Jobs: 2 of 2 complete                        Load average: 2.6, 2.3, 2.0

svn path=/main/trunk/; revision=11107

Don't show "Merging" and "merged." messages when in background mode.

svn path=/main/trunk/; revision=11105

Make Binpkg send "Extracting" messages to the log file when in background
mode, instead of stdout.

svn path=/main/trunk/; revision=11104

Update the status display in _build_exit(), after decrementing the job count.

svn path=/main/trunk/; revision=11103

Make BinpkgVerifier redirect output to the fetch log when in background mode.

svn path=/main/trunk/; revision=11102

Don't show a blank newline before ">>> Emerging" when in background mode.

svn path=/main/trunk/; revision=11101

Handle the case in dblink.unmerge() when the log file is a temp file and so
it doesn't exist after postrm cleaning.

svn path=/main/trunk/; revision=11100

Tweak interaction between Scheduler and status display so that it doesn't
display more often than necessary and avoids showing inconsistent counts.

svn path=/main/trunk/; revision=11099

* Add a new portage.util.writemsg_level() function which uses a "level"
  parameter to control whether the message is sent to stdout or stderr.
  When level >= logging.WARNING then the message is sent to stderr,
  otherwise it is sent to stdout. The noiselevel is passed directly to
  writemsg().

* Use writemsg_level() for handling merge messages from dblink and add
  appropriate noiselevel values to each call.

* Add a writemsg_level parameter to portage.env_update() so that dblink
  can pass in dblink._display_merge() as a means to redirect output back
  to the scheduler for appropriate handling when running in the background.

svn path=/main/trunk/; revision=11098

Don't increment the "complete" count for uninstall tasks.

svn path=/main/trunk/; revision=11097

Add a JobStatusDisplay class to encapsulate the status display. This object
tracks whether or not any of it's attributes have changed since the last
time it was displayed, so the it's only displayed when something has changed.
Unlike before, now the display should always update whenever a relevant change
occurs.

svn path=/main/trunk/; revision=11096

In SequentialTaskQueue.clear(), remove the exit listener from each task before
cancelling it.

svn path=/main/trunk/; revision=11095

Add the new --anon option to the getopt args.

svn path=/main/trunk/; revision=11094

When SpawnProcess._start() spawns a process in the background, use /dev/null
so that any attempts to read from stdin will immediately return EOF instead
of blocking indefinitely. TODO: Use job control functions like tcsetpgrp()
to control access to stdin.

svn path=/main/trunk/; revision=11093

Eliminate duplicate code by making EbuildProcess inherit from SpawnProcess
instead of SubProcess.

svn path=/main/trunk/; revision=11092

Add --anon to the usage message.

svn path=/main/trunk/; revision=11091

Add --anon option for anonsvn.gentoo.org users.

svn path=/main/trunk/; revision=11090

Remove TODO since it no longer exists.

svn path=/main/trunk/; revision=11089

Avoid raising an IndexError from deprecated_profile_check() if the deprecated
file happens to be empty. Instead just refer to the "Gentoo Upgrading Guide".
Thanks to armin76 for reporting.

svn path=/main/trunk/; revision=11088

Pass background=True into prefetcher constructors.

svn path=/main/trunk/; revision=11076

Add a progress counter showing "x of y complete" to
Scheduler._display_status().

svn path=/main/trunk/; revision=11075

* Add xterm titles support to Scheduler._display_status().
* Tweak emergelog() so that it won't interfere with the scheduler summary.

svn path=/main/trunk/; revision=11073

Add async support for calling functions in misc-functions.sh:

* Create a new MiscFunctionsProcess class derived from SpawnProcess.

* Add "background" support to the SpawnProcess class and split out a
  _spawn() template function so MiscFunctionsProcess can override it.

* Rename the existing EbuildPhase class to EbuildProcess.

* Create a new EbuildPhase class derived from CompositeTask. This class
  spawns the EbuildProcess and MiscFunctionsProcess classes as sub-tasks.

svn path=/main/trunk/; revision=11072

Remove the config._filter_calling_env attribute since it's not really needed.
Replace it with an simple os.path.exists() call inside config.environ().

svn path=/main/trunk/; revision=11071

Show LDFLAGS in emerge --info <pkg> output. Thanks to dirtyepic for this
patch.

svn path=/main/trunk/; revision=11070

Pass the whole dblink instance into Scheduler._dblink_display_merge() in case
it's ever needed.

svn path=/main/trunk/; revision=11069

Redirect dblink.merge() output to the log file when --jobs > 1.

svn path=/main/trunk/; revision=11068

Make dblink._display_merge() detect scheduler presence internally.

svn path=/main/trunk/; revision=11067

Adapt the dblink merge display callback to use log levels from the logging
module so that it can be used as an interface for both writemsg() and
writemsg_stdout().

svn path=/main/trunk/; revision=11066

Redirect dblink.unmerge() output to the log file when --jobs > 1.

svn path=/main/trunk/; revision=11065

When --jobs > 1, display a status message each time that
Scheduler._schedule_tasks() is called. For example:

>>> Jobs:  2 running,  0 merges, load average: 0.34, 0.46, 0.27

svn path=/main/trunk/; revision=11064

Add some cross references between emerge's new parallel build options and
MAKEOPTS.

svn path=/main/trunk/; revision=11063

Make EbuildFetcher copy FETCHCOMMAND and RESUMECOMMAND to the fetch
environment, in case the default values have been overridden.

svn path=/main/trunk/; revision=11062

In Scheduler._restart_if_necessary(), use list.remove() instead of assuming
that portage is first in the resume list.

svn path=/main/trunk/; revision=11061

Since lots of packages will have to be fixed before stable portage can abort
with "this code is not 64bit clean", convert the die call to an eerror message
instructing the user to file a bug at bugs.gentoo.org. This should allow us
to stabilize portage-2.2 without having to ensure that the entire stable tree
is 64 bit clean first.

svn path=/main/trunk/; revision=11057

When packages fail with --jobs > 1 and the "echo" elog module is not enabled,
emulate elog's mod_echo module to show the 'error' level messages, which should
include the important die message. This is implemented by adding a private
hook inside elog_process() which the scheduler uses to collect error messages.

svn path=/main/trunk/; revision=11056