Scheduler: add more info in docstring comments

This clarifies the purposes of _system_merge_started and _choose_pkg.

Add force-mirror FEATURE.

force-mirror: Only fetch files from configured mirrors, ignoring
SRC_URI, except when mirror is in the ebuild(5) RESTRICT variable.

BUG=chromium-os:13221
TEST=Test that ebuilds now fail with FEATURES=force-mirror if files are
not in the configured mirror.

Change-Id: I8484d5af8dff97b431398030b33c024ff1295ba0

Review URL: http://codereview.chromium.org/6677171

filter PORTAGE_GPG_SIGNING_COMMAND for ebuild env

Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

Support PORTAGE_GPG_SIGNING_COMMAND variable.

repoman: fix profiles.desc overlay path

Thanks to Alexey Shvetsov <alexxy@gentoo.org> for reporting this issue
and testing the fix.

Display: fix fetch restrict msg for RO_DISTDIRS

This will fix bug #361463.

Minor improvements in gpgsign().
repoman_settings["PORTAGE_GPG_DIR"] is always set.

Simplify calculation of repoman_settings["PORTAGE_GPG_DIR"] in gpgsign().
os.path.expanduser() works even when HOME environment variable is not set.

chk_updated_info_files: handle --quiet

This will fix bug #361257.

Use os.path.expanduser() to simplify code.

display_merge: tweak background/logging logic

dblink: rename 'buffer' var in _elog_process

Avoid name collision with built-in 'buffer' function.

unmerge: fix lock/UnsupportedAPIException logic

UnsupportedAPIException: handle unicode in EAPI

Normally EAPI doesn't contain unicode, but as in bug #359675, it can
contain practically anything if files in /var/db/pkg are corrupt.

emerge-webrsync: drop lzma support

The lzma snapshots have been replaced by xz snapshots, as discussed in
the "RFC: Remove .lzma in favor of .xz portage snapshots" thread on the
gentoo-dev ml:

http://archives.gentoo.org/gentoo-dev/msg_7de1b57ce531fdf33d33b5b070006436.xml

MergeProcess: add fallback setcpv call

It's important that this metadata access happens in the parent process,
since closing of file descriptors in the subprocess can prevent access
to open database connections such as that used by the sqlite metadata
cache module.

MergeProcess: query blockers in the main process

Metadata cache queries may not work for some databases from within a
subprocess. For example, sqlite is known to misbehave.

display_merge: pass through noiselevel args

Scheduler: pkg_to_replace beware old-style virt

BlockerDB: add SLOT match in discardBlocker

MergeListItem: inherit _poll and _wait

MergeProcess: relocate portage reinstall code

This code goes inside _start since it needs to execute in the parent
process.

unmerge: fix PORTAGE_BACKGROUND logic

Reoranize PackageMerge/MergeListItem interaction.

PackageMerge: call wait() for conformity

Update header timestamps for modified files.

MergeProcess: call elog_process for replaced pkgs

dblink: use self.mycpv in _elog

MergeProcess: toggle vardbapi._pkgs_changed

config: blacklist PORTAGE_BACKGROUND* vars

MergeProcess: handle unicode in elog pipe

env_update: remove sleep_for_mtime_granularity

Instead of sleeping, use os.utime to avoid mtime ambiguity.

Change-Id: I359ececca19b6be9f5997ac5c8fe6fea6ea49dd5

Review URL: http://codereview.chromium.org/6676150

PollScheduler: tweak _unregister event cleanup

PollScheduler: handle missing log directory

This can be triggered by AbstractPollTask._log_poll_exception(), as
reported by Michael Haubenwallner <haubi@gentoo.org> for AIX.

dblink: fix elog bugs for unmerge phases

vartree: remove broken scheduler reference

vartree: remove unused scheduler references

Since all the merge code runs inside MergeProcess now, there's no
reason to yield to the scheduler.

MergeProcess: separate unmerge output from merge

The unmerge output has been mixed together with the merge output since
commit 7535cabdf2fab76fc55df83643157613dfd66be9 because
dblink._scheduler was set to None. Now it's fixed to produce separate
logs like it used to.

ebuild(1): fix AttributeError for merge phase

  File "pym/portage/dbapi/vartree.py", line 4043, in merge
    merge_task.start()
  File "pym/_emerge/AsynchronousTask.py", line 23, in start
    self._start()
  File "pym/_emerge/SpawnProcess.py", line 118, in _start
    self._reg_id = self.scheduler.register(files.process.fileno(),
AttributeError: 'NoneType' object has no attribute 'register'

MergeProcess: close elog_writer_fd leak

MergeProcess: Fix PORTAGE_BACKGROUND/LOG_FILE use

In this subprocess we don't want PORTAGE_BACKGROUND to suppress
stdout/stderr output since they are pipes. We also don't want to open
PORTAGE_LOG_FILE, since it will already be opened by the parent
process, so we set the PORTAGE_BACKGROUND="subprocess" value for use
in conditional logging code involving PORTAGE_LOG_FILE.

Preserve elog message continuity during updates.

This integrates the fix from commit
8209aeab647b1ab80a64d5931069b3533776ef75 with the asynchronous merge
changes from commit 7535cabdf2fab76fc55df83643157613dfd66be9.

Merge packages asynchronously in Portage.

This allows for the scheduler to continue to run while packages are
being merged and installed, allowing for additional parallelism and
making better use of the CPUs.

Review URL: http://codereview.chromium.org/6713043

Update Portage to sync BlockerDB at init.

Currently, Portage syncs the BlockerDB before every merge. This slows
down merges considerably because it requires reading the entire vardb
from disk. Since Portage doesn't merge conflicting packages anyway, we
can optimize this by just reading the vardb at initialization and
caching that.

Change-Id: I6701926f022ef3aa2da10482fc8b09573ae24610

Review URL: http://codereview.chromium.org/6688037

emerge: support [ y | n ] for --ask

This allows --ask to be enabled via EMERGE_DEFAULT_OPTS, and then
temporarily disabled via the command-line. This may be useful for
programs that call emerge non-interactively, as in bug #360233.

Optimize ebuild.sh to cache preprocessing output.

Right now ebuild.sh runs preprocessing steps multiple times during the
same build. It processes the same environment and produces the same
output every time. This slows down the build unnecessarily.

This optimization cuts build time for 50 binary packages with 16 jobs
from 3m22 to 2m33 (33%).

Change-Id: I72ac84cce2eb60d17736cc5f5343d4a858ec86f4

Review URL: http://codereview.chromium.org/6733008

get_dep_chain: handle InvalidDependString

chk_updated_cfg_files: fix whitespace in message

Thanks to Dennis Schridde in bug #359681.

portageq owners: list orphans via stderr

emerge_main: add "args" parameter (sys.argv[1:])

Also, fix local portage.debug import so that "global portage" is
not necessary.

TaskSequence: also call CompositeTask._cancel()

This is a regression from commit
363a7478a100495d2e8597bc6c6d2fdac94339e0 but it's usually not
noticeable with Ctrl-C since SIGINT is propagated to nested processes.

Update timestamps in headers of modified files.

PackageVirtualDbapi: fix get() for reposyntax

CompositeTask: fix _wait for TASK_QUEUED

Though this case might never have been triggered, the logic was broken
for cases in which self.cancelled was false and a task was queued. In
this case we need to call back into the scheduler until the queued task
is started or we are cancelled, whichever comes first.

ebuild-ipc: import errno

EbuildIpcDaemon: use non-blocking write

This prevents the Scheduler from hanging if the client is killed before
we can send the reply, as reported by David James:

  http://codereview.chromium.org/6713003

This commit depends on ebuild-ipc (the client) opening the other side
of this fifo before it sends its request, which has already been added
in commit eff879ff0ce7dcc1ce68d5f16de1ec73051f8c18.

ebuild-ipc: use non-blocking read

This makes it possible for the daemon to send a reply without blocking,
thereby improving performance and also making it possible for the
daemon to do a non-blocking write without a race condition.

This reverts part of commit 81fc303212b8379219cf5d463c8717359b972dba,
which probably didn't help portability anyway. Now, ebuild-ipc is using
non-blocking read with os.read and EAGAIN handling, just like
EbuildIpcDaemon since commit 7e5b81da12dd7bd59f6620840dc0d824e3f4d69a
(known compatible with FreeBSD).

AsynchronousLock: implement _cancel

make.conf.5: fix "direcory" spelling

Thanks to Francesco Turco in bug #359273.

dep_check: return errors as unicode

This should prevent the following error due to returning raw bytes,
reported in forum thread #869281:

File "pym/_emerge/BlockerDB.py", line 72, in findInstalledBlockers
portage.writemsg("!!! %s/*DEPEND: %s\n" % \
(pkg_location, atoms), noiselevel=-1)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in
position 23: ordinal not in range(128)

AsynchronousTask: add _cancel template method

Update Scheduler to protect against infinite loop

If we have running tasks, but we're not listening to these tasks,
we're going to loop forever. So throw an exception in this case.

Scheduler: tweak prefetcher cancellation logic

This should prevent "TypeError: an integer is required" raised from
waitpid when trying to cancel a prefetcher that never started.

CompositeTask: handle unstarted terminated tasks

CompositeTask: fix assertion in _wait

AsynchronousTask: always call wait() if cancelled

This is needed in order to ensure that exit listeners are called.
Subclasses call the base class cancel() method in order to inherit the
wait() call.

Scheduler: terminate _merge_wait_queue

iter_owners: try the hashed approach in any case

Previously, the slow approach was used whenever more than 10 files were
given as input. However, large numbers of files don't necessarily
mean the hashed approach is a bad choice, so try it in any case.

slot_conflict: tweak message and fix grammar

emerge: support [ y | n ] for --quiet

This allows --quiet and --quiet-build to be enabled via
EMERGE_DEFAULT_OPTS, and then temporarily disabled via the command-
line.

Update timestamps in headers of modified files.

Scheduler: fix AttributeError in _terminate_tasks

Thanks to David James <davidjames@google.com> for reporting this error:
AttributeError: 'EbuildPhase' object has no attribute 'merge'

Make all temp dirs under $PORTAGE_TMPDIR/portage.

Before, some temporary directories would be created directly in
$PORTAGE_TMPDIR. Now, all are subdirectories of $PORTAGE_TMPDIR/portage
since it's common for people to assume that this is the case anyway.
With the default PORTAGE_TMPDIR setting of /var/tmp, this allows
/var/tmp to be mounted with the "noexec" option, as long as the
/var/tmp/portage subdirectory is a separate mount (people have already
tended to assume that they can do this, so we're making it a reality
in order to avoid any more bug reports). This will fix bug #346899.

PollScheduler: tweek termination logic

* PollScheduler and all subclasses now use the _terminated_tasks
  variable to check whether or not _terminate_tasks() has been called,
  and behave appropriately in that case.

* The _schedule_tasks() method now has documentation about the
  relationship with _terminate_tasks() and _terminated_tasks.

PollScheduler: call _terminate_tasks in _schedule

This prevents it from being called while the _schedule_tasks()
implementation is running, in order to avoid potential interference.

Scheduler: avoid infinite loop after CTRL-C

If CTRL-C was received at certain times, it was possible for discarded
tasks to be erroneously left in Scheduler._running_tasks, which would
cause the main loop to run infinitely. Thanks to David James
<davidjames@google.com> for reporting this issue and helping to devise
a solution.

ebuild-ipc: use plain file read instead of array

Array.fromfile() seems to be more error prone. For example, see
bug 337465.

AbstractPollTask: log exceptional events

Previously, when AbstractPollTask receives a POLLERR or POLLNVAL event,
it would silently cancel the task. Now it will generate a message like
this:

   !!! SpawnProcess received strange poll event: 8

The message is displayed via a new _log_poll_exception method, which
is overridden by AbstractEbuildProcess to log the message via elog.

This might help diagnose reported cases of SIGTERM signals killing
ebuild processes for no apparent reason:

   http://code.google.com/p/chromium-os/issues/detail?id=12968

unmerge: use vardbapi._dblink() to simplify

The dblink constructor is complex and best avoided.

Bug #357009: Disallow uninstallation of currently used Python interpreter.

portdbapi: source ebuilds when eclass dir missing

This will fix bug #357581.

eclass_cache: remove deprecated methods

config: quote overlays containing spaces

This will fix bug #357297.

Remove redundant CONTENTS parent dir generation.

This code is redunant now, since similar code has been added to
dblink.getcontents() in commit
e0b4048274b2cfc1617f2eff379cbe8435e13ed4.

dblink.getcontents(): generate parent directories

We can't necessarily assume that they are explicitly listed in
CONTENTS, and they are crucial for callers such as dblink.isowner().

grablines: allow inline comments

grabdict: allow inline comments

depgraph: don't output \b to non-tty

This will fix bug #357093.

dodoc: update copyright date

ebuild(1): fix ebuild modification check

This has been broken since the setcpv call (triggering metadata
generation) was added before it in commit
0b39d24bb8270e5c89eaddfd1f5a4181cf9e31d3.

action_deselect: expand cat against world atoms

unmerge: log pre/postrm FAILED messages

owners_cache: fix EPREFIX miscalculation

This reverts commit 43e0b3ea4289aab9b4258d29d06afac40abd6c01 and
renames the root_len variable to eroot_len (for clarity).

owners_cache: add parent dirs deeper than EPREFIX

unmerge: implicitly unmerge parent directories

We can't necessarily assume that they are explicitly listed in
CONTENTS.

owners_cache: implicitly add parent directories

We can't necessarily assume that they are explicitly listed in
CONTENTS.

repoman: variable.usedwithhelpers ignore quoted

ebuild(1): apply package.env earlier

This makes it possible to override PORTAGE_TMPDIR.

depgraph: case insensitive search for unsatisfied

This will fix bug #356555.