Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

Don't set _, which is reserved for portage.localization._().

Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

use EROOT with WORLD_FILE

Remove redundant writemsg_stdout() call in search.output() which causes
duplicate emerge --search output when package sets are matched.

use EROOT with CACHE_PATH

use EROOT with VDB_PATH

use EROOT with VDB_PATH

fix comments to match latest intentions in the code

Fix typo.

In BinpkgExtractorAsync, add -q to bzip2 opts, in order to avoid
"trailing garbage after EOF ignored" warning messages due to xpak
trailer.

Replace svn-trunk with VERSION in doc/fragment/version, for use as a
sed template as is done with the man page headers.

Add missing portage import in portage.locks.

In the short timeout test for QueueScheduler.run(), assert that the
subprocess has stopped.

Add back PortageException handler inside mod_mail_summary.finalize()
since portage.mail.send_mail() can raise this exception.

Make ebuild-ipc.py call portage._disable_legacy_globals() since it
doesn't need any of that stuff.

Make portage.locks avoid importing the portage.output module when in
quiet mode. This is one less import triggered by ebuild-ipc.py, which
should be as lightweight as possible.

Move registration of the close_portdbapi_caches() exit hook from the
portage base module to the portree module, so that the base portage
module can be imported without triggering import of the portage.process
(for atexit_register) and portage.dbapi.porttree modules. Also, don't
bother to commit the mtimedb in the exit hook since it's not really
needed.

Use a lazy import for portage.dep instide portage.util.

Move portage.locks imports to the top of the file.

Adjust AlarmSignal.unregister() call in ebuild-ipc.

Use AlarmSignal for timout handling in mod_mail_summary.finalize().

Make AlarmSignal._signal_handler() restore the default SIGALRM
handler.

Use AlarmSignal for timeout handling in elog_process().

Fix breakage from previous commit.

Move AlarmSignal.unregister() call to a better place in action_sync().

Use AlarmSignal for alarm timeout in action_sync().

Make AlarmSignal.register() require a time parameter and pass it to
signal.alarm().

Add AlarmSignal.register() and unregister() classmethods in order to
handle interaction with the signal module.

Add a test case for intentionally short timeout with QueueScheduler.run().

Add support for a timeout argument to QueueScheduler.run() and
use it in IpcDaemonTestCase to implement a 40 second timeout
in test cases.

Bug #335777 - Add a 40 second timeout in ebuild-ipc.py, so that if an
orphan is left for any reason then it will exit with an error message
instead of hanging indefinitely.

Account for package.use.force/mask in previous commit.

autounmask: Don't print masked/forced flags in "required by" comments

Old "Change USE" message: Don't screw up if the highest version is masked and parent changes exist

Make emerge display a warning message if FEATURES contains keepwork
or keeptemp since these features may confuse users and lead them
to report invalid bugs.

Fix VDB_PATH handling in ebuild(1) to join with EROOT.

Add a "Delayed Evaluation of Disjunctive Dependency Choices" section
to depenency resolution documentation.

Unify to different pieces of code that handle sandbox considerations for
TEMP, TMP, and TMPDIR variables.

Fix whenago() to show times as integers instead of floats.

Add backward compatible config.pmaskdict and punmaskdict properties
that return copies of the corresponding MaskManager attributes. This
is safe since MaskManager now stores the values in these dicts as
immutable tuples.

Make MaskManager use tuples for values inside _pmaskdict and
_punmaskdict.

Implement ExtendedAtomDict.copy().

Bug #335620 - Add backward compatible config.virtuals and virts_p
properties, and trigger a DeprecationWarning if they are accessed.

Prevent local x variable in ebuild_main() from showing up in
environment.bz2.

Prevent the local filter_opts variable in filter_readonly_variables()
from being saved in environment.bz2.

Filter more variables that don't need to end up in environment.bz2.

Fix breakage for python3 from trying to mix bytes and unicode in
load_default_config().

Add a _SANDBOX_COMPAT_LEVEL constant which will be used to enable
a workaround for bug #288863 in the stable branch.

When signaling successful exit from an ebuild phase via ebuild-ipc,
first check for non-empty $SANDBOX_LOG and signal unsuccessful exit
if necessary. This fixes an issue with phases being treated as
successful even when there were sandbox violations.

Omit dotfiles in /usr/share/portage/config/sets (e.g. vim swapfiles).

Bug #248603 - Add a _ENABLE_REPO_NAME_WARN constant that's used to
disable warnings about "missing repo_name entries" for the stable
branch.

Hide the portageq list_preserved_libs command when _ENABLE_PRESERVE_LIBS
is False.

Bug #335670 - Make copyright header in herdbase.py refer to "GPL 2 or later"
instead of just GPL-2.

Make repoman disable FEATURES=unknown-features-warn for the profiles
it's checking, since it's confusing if these warnings are displayed
without the user being told which profile they come from.

Adjust EbuildIpcDaemon pickle read and write code in order to ensure
atomc reading and writing of whole pickles. This should be the least
error-prone approach, given the non-blocking nature of the streams.

Bug #335642 - Also make show_masked_packages() display to stdout since
depgraph._show_unsatisfied_dep() calls it.

Bug #335642 - Revert depgraph._show_unsatisfied_dep() to display to
stdout, so that app-portage/autounmask continues to work. Note that
depgraph.display_problems() temporarily overrides the stdout stream
to point to stderr, so mask messages shown there continue to go
to stderr. Maybe the emerge --autounmask will eventually make
app-portage/autounmask obsolete, but for now we should support both
approaches since emerge --autounmask is relatively experimental.

Remove reference to nonexistent _unlock_builddir() method in
EbuildPhase._env_extractor_exit().

Add support to config.setcpv() for caching USE settings from built
packages, and use it for evaluating conditional USE deps in atoms
passed via IPC to helpers like has_version and best_version.

Since the pickled object that contains the IPC command will no longer
contain USE, it should solve cases that have been reported in which
large USE strings trigger poor handling of non-blocking read in
pickle.load():

Traceback (most recent call last):
  File "/usr/bin/emerge", line 43, in <module>
    retval = emerge_main()
  File "/usr/lib64/portage/pym/_emerge/main.py", line 1649, in emerge_main
    myopts, myaction, myfiles, spinner)
  File "/usr/lib64/portage/pym/_emerge/actions.py", line 437, in action_build
    retval = mergetask.merge()
  File "/usr/lib64/portage/pym/_emerge/Scheduler.py", line 1033, in merge
    rval = self._merge()
  File "/usr/lib64/portage/pym/_emerge/Scheduler.py", line 1349, in _merge
    self._main_loop()
  File "/usr/lib64/portage/pym/_emerge/Scheduler.py", line 1498, in _main_loop
    self._poll_loop()
  File "/usr/lib64/portage/pym/_emerge/PollScheduler.py", line 139, in _poll_loop
    handler(f, event)
  File "/usr/lib64/portage/pym/_emerge/EbuildIpcDaemon.py", line 36, in _input_handler
    obj = pickle.load(self._files.pipe_in)
  File "/usr/lib64/python2.6/pickle.py", line 1370, in load
    return Unpickler(file).load()
  File "/usr/lib64/python2.6/pickle.py", line 858, in load
    dispatch[key](self)
  File "/usr/lib64/python2.6/pickle.py", line 1195, in load_setitem
    value = stack.pop()
IndexError: pop from empty list

Make atomic directory creation code in dblink.mergeme() use equivalent
error handling to portage.util.ensure_dirs().

Add a note to the ensure_dirs() docstring about atomic directory creation.

Make ensure_dirs() use os.path.isdir() to verify that the directory
exists when EISDIR is raised, since this is abnormal behavior.

In ensure_dirs(), only call apply_permissions() when keyword arguments
for it are given.

Make more doebuild() commands exempt from _check_temp_dir().

In doebuild(), don't call _check_temp_dir() for pseudo-phases such as
'manifest' and 'digest' that don't require a temp dir.

In dblink.mergeme(), handle EISDIR which can be raised from mkdir calls
on FreeBSD (see bug #187518).

Fix WorldSelectedSet._load2() to always return a list instead of a
set for nonatoms so that we don't trigger 'TypeError: can only
concatenate list (not "set") to list'.

Fix depgraph._serialize_tasks() so that portage-9999 is always promoted
to the front of the merge list when it is reinstalled.

Fix portage to create directories atomically in fast build.

If multiple ebuild processes create the same directory, portage should not
exit with an error message. Instead we should just be okay with the fact
that another process created the directory.

This is only necessary for fast build because we eliminate the giant lock that
surrounds package merges.

TEST=Create fresh chroot and do full build from source start to finish
BUG=none

Review URL: http://codereview.chromium.org/2998002

Update portage to create directories atomically.

Portage should use the ensure_dirs function instead of os.makedirs to create
directories, because this function ensures atomicity. It prevents failures
when more than one process tries to create the same directory.

This fixes a crash bug reported by msb:
[...]
  File "/usr/lib64/portage/pym/portage/dbapi/vartree.py", line 3258, in _merge
    self.vartree.dbapi._bump_mtime(self.mycpv)
  File "/usr/lib64/portage/pym/portage/dbapi/vartree.py", line 152, in _bump_mtime
    os.makedirs(catdir)
  File "/usr/lib64/portage/pym/portage/__init__.py", line 210, in __call__
    rval = self._func(*wrapped_args, **wrapped_kwargs)
  File "/usr/lib64/python2.6/os.py", line 157, in makedirs
    mkdir(name, mode)
OSError: [Errno 17] File exists: '/home/msb/trunk/src/build/images/x86-generic/0.8.63.2010_08_03_1844-a1/rootfs//var/db/pkg/x11-proto'

BUG=chromium-os:5366
TEST=build_packages && build_image

Review URL: http://codereview.chromium.org/3113014

Add comments about consumers of FakeVardbapi.getpath().

Simplify the vartree constructor usage in config.getvirtuals().

Use self.dbapi.getpath() to simplify code in vartree.get_provide().

Bug #335439 - Fix "AttributeError: 'vartree' object has no attribute
'_eroot'" in vartree.get_provide().

When portage updates itself and the new version either inherits
git.eclass or has 9999 in its version, trigger the 'use copy of current
sources for install, then restart portage' routine. This is required
since with the live git portage-9999 ebuild we can't use the version
to detect incompatible changes to ebuild.sh. This issue was noticed
due to recent versions of ebuild.sh expecting PORTAGE_BZIP2_COMMAND to
be set, causing incompatibility with installed portage-9999 instances.

Fix ResolverPlayground.cleanup() to cleanup the portdbapi instance.

Add a fallback PORTAGE_BZIP2_COMMAND setting in ebuild.sh, as a
workaround for portage-9999 users.

Show PORTAGE_BZIP2_COMMAND and PORTAGE_BUNZIP2_COMMAND in emerge --info,
in case it triggers mysterious unpack() issues or something.

Fix bugs in features_set._prune_overrides() and add another test case.

Add testcase to check that features_set._prune_overrides() is working
correctly.

Bug #335340 - Use PORTAGE_BUNZIP2_COMMAND and PORTAGE_BZIP2_COMMAND in
ebuild.sh where appropriate:
* unpack()
* environment.bz2 compression

Bug #335340 - Add support for PORTAGE_BZIP2_COMMAND and
PORTAGE_BUNZIP2_COMMAND settings in make.conf. This only adds support
for binary packages, since that's where pbzip2 can provide the most
benefit in common cases.

Bug #326561 - Implement FEATURES=unknown-features-filter. This is not
enabled by default now, but it may be in the future, depending on feedback
from unknown-features-warn.

Move FEATURES=unknown-features-warn code to config.regenerate() so
that it shows warnings for unknown FEATURES settings from package.env,
and keep a record of shown warnings in config._unknown_features.

When _ENABLE_DYN_LINK_MAP is False, show additional --depclean help
and warnings advising use of revdep-rebuild.

When _ENABLE_SET_CONFIG is False, disable reading/writing of the
world_sets file in WorldSelectedSet.

When _ENABLE_SET_CONFIG is False, make load_default_config() create
a default hardcoded set configuration that will be used by the
upcoming 2.1.9 branch.

Replace the literal portage version in all man page headers with the
string 'VERSION' which can be used as a sed template at install time.
This will help avoid lots of merge conflicts since these header lines
contain both a date and a portage version.

Add a comment to make.globals noting that the preserve-libs FEATURES
setting will be commented out in versions that don't support it.

Use _ENABLE_PRESERVE_LIBS and _ENABLE_DYN_LINK_MAP constants to control
instantiation of vardbapi._plib_registry and vardbapi._linkmap.

Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

Add some private constants for use in conditional code in order to
minimize the diff between branches.

Fix typos.

Add more new features to RELEASE-NOTES for portage-2.1.9.

Invert _ebuild_helpers_path EAPI conditional in ebuild.sh.

Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

Split out a RELEASE-NOTES section for portage-2.1.9, composed of parts
from the 2.2 branch.

Bug fix in canonicalize() function.

Add a TODO note to AbstractEbuildProcess._can_log() about adding support
for logging via named pipe (fifo) for sesandbox.