Filter more variables that don't need to end up in environment.bz2.

Fix breakage for python3 from trying to mix bytes and unicode in
load_default_config().

Add a _SANDBOX_COMPAT_LEVEL constant which will be used to enable
a workaround for bug #288863 in the stable branch.

When signaling successful exit from an ebuild phase via ebuild-ipc,
first check for non-empty $SANDBOX_LOG and signal unsuccessful exit
if necessary. This fixes an issue with phases being treated as
successful even when there were sandbox violations.

Omit dotfiles in /usr/share/portage/config/sets (e.g. vim swapfiles).

Bug #248603 - Add a _ENABLE_REPO_NAME_WARN constant that's used to
disable warnings about "missing repo_name entries" for the stable
branch.

Hide the portageq list_preserved_libs command when _ENABLE_PRESERVE_LIBS
is False.

Bug #335670 - Make copyright header in herdbase.py refer to "GPL 2 or later"
instead of just GPL-2.

Make repoman disable FEATURES=unknown-features-warn for the profiles
it's checking, since it's confusing if these warnings are displayed
without the user being told which profile they come from.

Adjust EbuildIpcDaemon pickle read and write code in order to ensure
atomc reading and writing of whole pickles. This should be the least
error-prone approach, given the non-blocking nature of the streams.

Bug #335642 - Also make show_masked_packages() display to stdout since
depgraph._show_unsatisfied_dep() calls it.

Bug #335642 - Revert depgraph._show_unsatisfied_dep() to display to
stdout, so that app-portage/autounmask continues to work. Note that
depgraph.display_problems() temporarily overrides the stdout stream
to point to stderr, so mask messages shown there continue to go
to stderr. Maybe the emerge --autounmask will eventually make
app-portage/autounmask obsolete, but for now we should support both
approaches since emerge --autounmask is relatively experimental.

Remove reference to nonexistent _unlock_builddir() method in
EbuildPhase._env_extractor_exit().

Add support to config.setcpv() for caching USE settings from built
packages, and use it for evaluating conditional USE deps in atoms
passed via IPC to helpers like has_version and best_version.

Since the pickled object that contains the IPC command will no longer
contain USE, it should solve cases that have been reported in which
large USE strings trigger poor handling of non-blocking read in
pickle.load():

Traceback (most recent call last):
  File "/usr/bin/emerge", line 43, in <module>
    retval = emerge_main()
  File "/usr/lib64/portage/pym/_emerge/main.py", line 1649, in emerge_main
    myopts, myaction, myfiles, spinner)
  File "/usr/lib64/portage/pym/_emerge/actions.py", line 437, in action_build
    retval = mergetask.merge()
  File "/usr/lib64/portage/pym/_emerge/Scheduler.py", line 1033, in merge
    rval = self._merge()
  File "/usr/lib64/portage/pym/_emerge/Scheduler.py", line 1349, in _merge
    self._main_loop()
  File "/usr/lib64/portage/pym/_emerge/Scheduler.py", line 1498, in _main_loop
    self._poll_loop()
  File "/usr/lib64/portage/pym/_emerge/PollScheduler.py", line 139, in _poll_loop
    handler(f, event)
  File "/usr/lib64/portage/pym/_emerge/EbuildIpcDaemon.py", line 36, in _input_handler
    obj = pickle.load(self._files.pipe_in)
  File "/usr/lib64/python2.6/pickle.py", line 1370, in load
    return Unpickler(file).load()
  File "/usr/lib64/python2.6/pickle.py", line 858, in load
    dispatch[key](self)
  File "/usr/lib64/python2.6/pickle.py", line 1195, in load_setitem
    value = stack.pop()
IndexError: pop from empty list

Make atomic directory creation code in dblink.mergeme() use equivalent
error handling to portage.util.ensure_dirs().

Add a note to the ensure_dirs() docstring about atomic directory creation.

Make ensure_dirs() use os.path.isdir() to verify that the directory
exists when EISDIR is raised, since this is abnormal behavior.

In ensure_dirs(), only call apply_permissions() when keyword arguments
for it are given.

Make more doebuild() commands exempt from _check_temp_dir().

In doebuild(), don't call _check_temp_dir() for pseudo-phases such as
'manifest' and 'digest' that don't require a temp dir.

In dblink.mergeme(), handle EISDIR which can be raised from mkdir calls
on FreeBSD (see bug #187518).

Fix WorldSelectedSet._load2() to always return a list instead of a
set for nonatoms so that we don't trigger 'TypeError: can only
concatenate list (not "set") to list'.

Fix depgraph._serialize_tasks() so that portage-9999 is always promoted
to the front of the merge list when it is reinstalled.

Fix portage to create directories atomically in fast build.

If multiple ebuild processes create the same directory, portage should not
exit with an error message. Instead we should just be okay with the fact
that another process created the directory.

This is only necessary for fast build because we eliminate the giant lock that
surrounds package merges.

TEST=Create fresh chroot and do full build from source start to finish
BUG=none

Review URL: http://codereview.chromium.org/2998002

Update portage to create directories atomically.

Portage should use the ensure_dirs function instead of os.makedirs to create
directories, because this function ensures atomicity. It prevents failures
when more than one process tries to create the same directory.

This fixes a crash bug reported by msb:
[...]
  File "/usr/lib64/portage/pym/portage/dbapi/vartree.py", line 3258, in _merge
    self.vartree.dbapi._bump_mtime(self.mycpv)
  File "/usr/lib64/portage/pym/portage/dbapi/vartree.py", line 152, in _bump_mtime
    os.makedirs(catdir)
  File "/usr/lib64/portage/pym/portage/__init__.py", line 210, in __call__
    rval = self._func(*wrapped_args, **wrapped_kwargs)
  File "/usr/lib64/python2.6/os.py", line 157, in makedirs
    mkdir(name, mode)
OSError: [Errno 17] File exists: '/home/msb/trunk/src/build/images/x86-generic/0.8.63.2010_08_03_1844-a1/rootfs//var/db/pkg/x11-proto'

BUG=chromium-os:5366
TEST=build_packages && build_image

Review URL: http://codereview.chromium.org/3113014

Add comments about consumers of FakeVardbapi.getpath().

Simplify the vartree constructor usage in config.getvirtuals().

Use self.dbapi.getpath() to simplify code in vartree.get_provide().

Bug #335439 - Fix "AttributeError: 'vartree' object has no attribute
'_eroot'" in vartree.get_provide().

When portage updates itself and the new version either inherits
git.eclass or has 9999 in its version, trigger the 'use copy of current
sources for install, then restart portage' routine. This is required
since with the live git portage-9999 ebuild we can't use the version
to detect incompatible changes to ebuild.sh. This issue was noticed
due to recent versions of ebuild.sh expecting PORTAGE_BZIP2_COMMAND to
be set, causing incompatibility with installed portage-9999 instances.

Fix ResolverPlayground.cleanup() to cleanup the portdbapi instance.

Add a fallback PORTAGE_BZIP2_COMMAND setting in ebuild.sh, as a
workaround for portage-9999 users.

Show PORTAGE_BZIP2_COMMAND and PORTAGE_BUNZIP2_COMMAND in emerge --info,
in case it triggers mysterious unpack() issues or something.

Fix bugs in features_set._prune_overrides() and add another test case.

Add testcase to check that features_set._prune_overrides() is working
correctly.

Bug #335340 - Use PORTAGE_BUNZIP2_COMMAND and PORTAGE_BZIP2_COMMAND in
ebuild.sh where appropriate:
* unpack()
* environment.bz2 compression

Bug #335340 - Add support for PORTAGE_BZIP2_COMMAND and
PORTAGE_BUNZIP2_COMMAND settings in make.conf. This only adds support
for binary packages, since that's where pbzip2 can provide the most
benefit in common cases.

Bug #326561 - Implement FEATURES=unknown-features-filter. This is not
enabled by default now, but it may be in the future, depending on feedback
from unknown-features-warn.

Move FEATURES=unknown-features-warn code to config.regenerate() so
that it shows warnings for unknown FEATURES settings from package.env,
and keep a record of shown warnings in config._unknown_features.

When _ENABLE_DYN_LINK_MAP is False, show additional --depclean help
and warnings advising use of revdep-rebuild.

When _ENABLE_SET_CONFIG is False, disable reading/writing of the
world_sets file in WorldSelectedSet.

When _ENABLE_SET_CONFIG is False, make load_default_config() create
a default hardcoded set configuration that will be used by the
upcoming 2.1.9 branch.

Replace the literal portage version in all man page headers with the
string 'VERSION' which can be used as a sed template at install time.
This will help avoid lots of merge conflicts since these header lines
contain both a date and a portage version.

Add a comment to make.globals noting that the preserve-libs FEATURES
setting will be commented out in versions that don't support it.

Use _ENABLE_PRESERVE_LIBS and _ENABLE_DYN_LINK_MAP constants to control
instantiation of vardbapi._plib_registry and vardbapi._linkmap.

Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

Add some private constants for use in conditional code in order to
minimize the diff between branches.

Fix typos.

Add more new features to RELEASE-NOTES for portage-2.1.9.

Invert _ebuild_helpers_path EAPI conditional in ebuild.sh.

Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

Split out a RELEASE-NOTES section for portage-2.1.9, composed of parts
from the 2.2 branch.

Bug fix in canonicalize() function.

Add a TODO note to AbstractEbuildProcess._can_log() about adding support
for logging via named pipe (fifo) for sesandbox.

Make match_from_list() strip "!!" when appropriate for strong blocks.

Remove duplicate real_vardb definition from merge in action_depclean().

Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

Fix "UnboundLocalError: local variable 'real_vardb' referenced before assignment".

Fix broken reference to real_vardb in calc_depclean() from 2 commits ago.

Fix typo in comment.

Bug #335242: Fix typo in emerge(1) man page.

Rename the portage.sets module to portage._sets since it will be useful
in the upcoming 2.1.9 branch which will not have sets support but will
still have the code in private and disabled form.

Always check if vardbapi._linkmap and vardbapi._plib_registry are
None before trying to use them. This will be useful in the upcoming
2.1.9 branch which will not have preserve-libs support but will
still have the code in private and disabled form.

Rename vardbapi.linkmap to vardbapi._linkmap since I'm
trying to minimize the diff between the master branch and upcoming
2.1.9 branch which will not have preserve-libs support but will
still have the code in private and disabled form.

Rename vardbapi.plib_registry to vardbapi._plib_registry since I'm
trying to minimize the diff between the master branch and upcoming
2.1.9 branch which will not have preserve-libs support but will
still have the code in private and disabled form.

Move LinkageMap to a new portage.util._dyn_libs.LinkageMapELF module.

Move PreservedLibsRegistry to a new portage.util._dyn_libs.PreservedLibsRegistry module.

Remove unused imports found by pylint.

Fix import.

Fix some typos.

Add LocationsManager.profile_and_user_locations for use with config.categories and archlist.

Make mkrelease.sh clean up the temporary $SOURCE_DIR when finished.

Add a TODO note about replacing BlockerDB with an incremental depgraph
for solving bug #279623.

Add canonicalize() function, replacement for "readlink -f".

Expand symlinks in prepcompress() completely, not only to the last
directory component.

Change a comment in prepcompress().

Add a Scheduler._running_tasks() set in order to simplify the
_is_work_scheduled() method.

Inside Scheduler._dependent_on_scheduled_merges(), don't traverse children
of uninstall nodes since those aren't dependencies in the usual sense.

Bug #273633 - Add docompress docs from PMS.

Update copyright headers.

Implement controllable compression and docompress, bug #273633.

Make egencache --update-use-local-desc use codecs.open() to write to
use.local.desc (fixes possible unicode issues with python3).

For egencache --preserve-comments, probe comments in binary mode in
order to avoid potential character encoding issues (both in terms
of decoding and in calculating file position given variable-width
character encodings like UTF-8.

Simplify the empty USE conditional /var/db/pkg metadata code in
_post_src_install_uid_fix(), and handle one more case.

egencache: Add comment preserving to --update-use-local-desc.

When evaluating USE conditional metadata for /var/db/pkg inside
_post_src_install_uid_fix(), ensure non-empty entries are removed
if the evaluation results in an empty value.

If there are circular dependencies, and circular_dependency_handler
doesn't have a message, eliminate root nodes before calling
digraph.debug_print(). If --debug is enabled then do this even if
circular_dependency_handler has a message.

Bug #335055 - Fix "TypeError: argument of type 'NoneType' is not
iterable" raised from first call to VirtualsManager.get_virts_p()
when trying to expand the category for a package name.

In depgraph._show_unsatisfied_dep(), show some debug info if
Atom.violated_conditionals() raises InvalidAtom.

Add --use-local-desc-output to egencache man page.

Support specifying an alternate output file for --update-use-local-desc.

Bug #334935 - Fix broken reference to config.pmaskdict inside
getmaskingreason().

Use StopIteration to exit nested loops.

Add support for IUSE.missing checks in conditional USE dependencies.

Add the chflags and selinux values to SUPPORTED_FEATURES.

Define a cmp work-alike function for use in the egencache
--update-use-local-desc code, since it's ugly to have so
many repetitions of this construct.

Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

Fix breakage caused ignorance of /etc/portage/{arch.list,categories}
config overrides.

Fix some typos.

Fix _get_legacy_global() so that it does't pass in the target_root
parameter to create_trees() unless ROOT is set. This is required
for make.conf ROOT override to work with LocationsManager.

Fix the config constructor to pass missing parameters to the
LocationsManager constructor.