debuild: pass manifest to digestcheck()

This allows us to avoid parsing the Manifest twice.

doebuild: discard cached manifest when necessary

When we call digestgen(), it can regenerate our distfiles digests and
we don't wan to cache stale values in this case.

debuild: pass dist digests to fetch()

This allows us to avoid parsing the Manifest twice.

Revert "ebuild(1): allow-missing-manifests for fetch"

This reverts commit 62712db56bb863b4eb0a9d9c52e7b2c3ad38df66.

This code already defaulted to the allow-missing-manifests behavior,
since the fetch() allow_missing_digests argument default is true. By
making the argument conditional on allow-missing-manifests, it changed
the behavior in the default case where allow-missing-manifests is
disabled.

Protect EBUILD_{FORCE_TEST,SKIP_MANIFEST} vars.

These belong in the blacklist, in order to avoid potential interference
from the calling environment.

fetch: fix ebuild --skip-manifest behavior

This should fix "Insufficient data for checksum verification" errors
triggered by ebuild --skip-manifest.

BUILD_TIME: use string format op for time.time()

Use portage.subprocess_getstatusoutput() more.

Avoid baseline subprocess import under python2.

emergelog: use string format op for time.time()

emergelog: remove unneeded seek for append mode

Update timestamps in headers of modified files.

filter-bash-environment.py: move imports to top

Use explicit 'mode' keyword arg with io.open().

Use explicit 'mode' keyword arg with io.open().

resume_depgraph: be careful with parent_node type

unmerge: reject USE conditionals in arguments

misc-functions.sh: fix incorrect has -o usage

Remove unneeded _unicode_decode for io.StringIO.

Since StringIO.StringIO fallback was removed in commit
5df96179611ce0e98727945b1800b43daccedfc2, we can rely on
io.StringIO.getoutput() to return unicode, so there's no
need to call _unicode_decode on the result.

Remove python-2.6 StringIO.StringIO fallback.

Since the io module in python-2.6 was broken when threading was
disabled, we needed to fall back from io.StringIO to StringIO.StringIO
in this case (typically just for Gentoo's stage1 and stage2 tarballs).
Now that python-2.7 is stable in stages and we rely on io.open() being
available, we can also rely on io.StringIO being available.

autounmask-write: create /etc/portage if needed

elog/mod_save: fix permissions for logrotate

These permissions should be compatible with our default logrotate
config as discussed in bug 374287.

elog/mod_save: ensure parent logdir exists

resume_depgraph: fix breakage from reposyntax

This is a major regression that has been triggering lots of complaints
about emerge --keep-going.

elog/mod_save: use _ensure_log_subdirs

This fixes permission issues with category subdirectories created for
FEATURES=split-elog.

prepare_build_dirs: copy logdir group permissions

The gid of PORT_LOGDIR is copied to all subdirectories, along with
0x2070 mode bits if present.

Log maintainer info for pretend and nofetch.

Also, suppress this maintainer info from going to stdout since it's
intended for the log and it doesn't necessarily need to be visible
elsewhere. This will fix bug #374809.

prepare_build_dirs: warn for logdir permission

If there is insufficient permission to use PORT_LOGDIR or the required
subdirectory, warn instead of raising an exception. Also, fall back to
using $T/build.log as a last resort.

ebuild.sh: restore old has() implementation

The needle/haystack implementation handles whitespace as originally
intended (prior to commit 659eafddd5964820ce8bdc0d90f5fcf7df04b5b7),
as discussed in bug #374791.

Signed-off-by: Brian Harring <ferringb@gmail.com>

is_valid_package_atom: fix circular import

Due to a quirk in python import behavior, this only failed
nondeterministically. However, the new preinst sanity test in the
portage-9999 ebuild tends to trigger it more often for some people.

Remove unused codecs import.

Migrate from codecs.open() to io.open().

The io.open() function is the same as the built-in open() function in
python3, and its implementation is optimized in python-2.7 and later.
In addition to the possible performance improvement, this also allows
us to avoid any future compatibility issues with codecs.open() that
may arise if it is delegated to the built-in open() function as
discussed in PEP 400.

The main caveat involved with io.open() is that TextIOWrapper.write()
raises TypeError if given raw bytes, unlike the streams returned from
codecs.open(). This is mainly an issue for python2 since literal
strings are raw bytes. We handle this by wrapping TextIOWrapper.write()
arguments with our _unicode_decode() function. Also, the
atomic_ofstream class overrides the write() method in python2 so that
it performs automatic coercion to unicode when necessary.

Manifest: fix NameError in updateAllHashes

circular_dependency: fix total_flags calc

depgraph: more debug output for _add_pkg

This should make it easier to debug cases like bug 374423,
among others.

slot_collision: fix more for bug 374423

slot_collision: fix AttributeError for bug 374423

depgraph: reject USE conditionals in arguments

circular_dependency: fix REQUIRED_USE test

circular_dependency: fix ridiculously long loop

The flags from REQUIRED_USE were added to affecting_use, which was not
really necessary and was a bad idea because a number of flags in
affecting_use affects our number of loops exponentially. This will fix
bug #374397 in which the large number of flags in the REQUIRED_USE of
dev-lang/php-5.3.6-r1 triggered execution of 2 ^ 45 loops.

slot_collision: be consistent with missing IUSE

Special handling for missing IUSE that was introduced in commit
9a193d42032005396800eb30e550691513529c79 is also useful in one
more spot.

circular_dependency: show debug graph earlier

This might help in some cases like bug 374397 where we're
troubleshooting the circular_dependency code.

circular_dependency: use itertools.product()

Python's cartesian product function does exactly what we want, so use
it to simplify our code.

depgraph: include pkg.repo in debug output

Add QA Notice for hasq/useq calls (bug #199722).

Remove all hasq/useq calls for bug #199722.

ebuild.5: remove hasq docs for bug #199722

Invert has/hasq and use/useq implementations.

We need to migrate away from hasq and useq since they are deprecated
(bug #199722).

RepoConfig: ignore missing name if no location

This happens if there is an orphan entry in repos.conf.

getportageversion: omit implicit -r0 for libc

Qualify "missed update" message as WARNING.

repoman: tighten regex for useq and hasq

repoman: centralize code for ignoring comments

repoman: check for deprecated useq and hasq calls

cpv_expand: fix KeyError when settings is None

Remove the _ensure_encodings module.

This was only needed for ancient versions of python built with
USE=build since the ebuilds used to remove the encodings module in
that case. Since the StreamWriter and StreamReader classes may be
deprecated in the near future, now would be a good time to stop
using them.

logrotate.d: su portage portage

This is required for logrotate-3.8.0 as reported in bug 374287.

ebuild(1): allow-missing-manifests for fetch

make.conf.5: fix grammar

digestcheck: more allow-missing-manifests

digestcheck: support allow-missing-manifests

Also, update the man page.

add FEATURES=allow-missing-manifests

The feature is as it sounds- primarily useful for temporary
trees or instances where manifests aren't used.

Signed-off-by: Brian Harring <ferringb@gmail.com>

repoman: ElementTree.ParseError -> SyntaxError

The ElementTree.ParseError class is undocumented and isn't available
in python-2.6, so use its SyntaxError base class instead.

Show repository in error message about missing USE flags.

portageq get_repo_path: output empty if unknown

It used to output "None" for unknown repos, which was not intended.

Fix a typo in a comment.

varexpand: remove escaped newline characters

This fixes a regression reported in bug 365033, comment #14.

preserve-libs: only preserve soname symlinks

This avoids calling the LinkageMapELF.isMasterLink() method, since the
only symlinks that are strictly required are the soname symlinks.

LinkageMapElf.findConsumers(): fix $ROOT handling

The code which checks the soname symlink was missing a join with
$ROOT.

LinkageMapElf: clarify findConsumers soname code

Here it referred to an soname symlink as a "master" link, which was
inconsistent with the meaning of "master" link used in the
isMasterLink() method.

LinkageMapElf.isMasterLink(): handle libproc

The version component of the libproc-3.2.8.so soname is formed
slightly differently than most other libraries.

UseFlagDisplay: fix USE_EXPAND_HIDDEN breakage

Fix a typo in a comment.

Fix a typo in a docstring.

LinkageMapELF.isMasterLink(): literally compare

Comparing the lengths of the names alone seems like too much of an
assumption, so literally compare the beginning of the soname to the
basename of the given file.

misc-functions.sh: remove stale NEEDED* files

Fix last commit to work regardless of nullglob.

ecompress: beware of -k in PORTAGE_COMPRESS_FLAGS

This will fix bug #372183.

config: filter repo-level make.defaults earlier

ebuild(1): use bintree.inject for "package" phase

ebuild(1): pass missing myrepo arg to aux_get

ebuild(1): pass "installed" arg to Package

ebuild(1): pass Package instance to setcpv

This should improve repo-level support, for bug #370693.

Only create soname symlinks in global libdirs.

This prevents false positives for private libraries installed by
pre-built packages under /opt.

config.setcpv(): simplify repo_env code

env_update: document ldconfig -X for bug #373341

RELEASE-NOTES: fix spelling of "respecting"

preserve-libs: don't preserve "master" symlink

There's no point in preserving the "master" symlink, since the soname
symlink is all that's strictly required.

Don't ever recreate root .so links on env-update.

We install .so symlinks with packages, so let's use that instead of
letting ldconfig update them for no reason. This should fix problems
with preserved-libs.

Detect/create missing soname symlinks for libs.

This will allow us to safely use the ldconfig -X option for all
ldconfig calls, an thereby avoid having ldconfig override our own
soname symlink policy which allows preserve-libs to work correctly
when libraries are downgraded as discussed in bug 373341.

read_corresponding_eapi_file(): Strip final \n from EAPI value.

Remove unimplemented "severe" FEATURES value.

This will fix bug #373301.

varexpand: handle backslashes like more like bash

For backslash expansion, this function used to behave like echo
-e, but that's not needed for our purposes. We want to behave like
bash does when expanding a variable assignment in a sourced file,
in which case it performs backslash removal for \\ and \$ but nothing
more. This will fix bash compatibility for the case reported in
bug #365033.

pkg_use_display(): Use use.expand and use.expand_hidden attributes.

Package.use: share identical frozenset instances

Fix CONFIG_PROTECT breakage from previous commit.

config: disallow per-package/repo CONFIG_PROTECT

In order for reliable etc-update behavior, CONFIG_PROTECT needs to be
a global constant (see bug 370693, comment #8).

Package: add use.expand/expand_hidden attributes

This allows the merge list display to account for repository-level
USE_EXPAND and USE_EXPAND_HIDDEN settings (see bug #370693).

prepare_features_dirs: fix ccache/distcc libdir

This will fix bug #355283.

Add a QA check for systemd unit file install.