Fix log uid for logrotate-3.8 compat (bug 378451)

If PORT_LOGDIR is writable by the portage group but its uid is not
portage_uid, then set the uid to portage_uid if we have privileges to
do so, and also copy the uid to the logfile. This fixes logrotate
chown failures during the compression phase, when it attempts to copy
the uid from the logfile to a temp file. With the "su portage portage"
directive and logrotate-3.8.0, logrotate's chown call during the
compression phase will only succeed if the log file's uid is
portage_uid.

resume_depgraph: prune all indirect unsatisfied

This should fix some cases of bug 378187.

repoman: add --if-modified option to check less

This is useful if you want to do a repo-level or category-level commit
but you only want to run checks for the packages that have uncommitted
modifications.

repoman: check more helper calls for $D, $ED...

This adds docinto, docompress, fowners and fperms to the
variable.usedwithhelpers check. Notably absent is dosed since that
supports mixed input. This will fix bug #377303.

Package: remove unused profile.system mask type

Remove "profile" mask support as per PMS 5.2.7.

Since this is considered a "legacy" feature by PMS 5.2.7, there
shouldn't be any need to support it anymore. Profiles can use
package.mask to get similar results, and package.mask additionally
allows for comments which are conveniently displayed by emerge. This
will fix bug #377907.

_check_temp_dir: check for 'portage' symlink

This will fix bug #378403.

fetch: handle non-essential statvfs failure

unmerge: remove more info dir files for #323213

Treat any directory named "info" as a candidate here, since it might
have been in INFOPATH previously even though it may not be there now.

portageq: fix short help display for leading \n

unmerge: remove generated info "dir" files

These files are generated by emerge, so we need to remove them
when they are the only thing left in the directory. This will fix
bug #323213.

action_info: don't mix print with writemsg_stdout

This should prevent strange output buffering/order issues reported when
piping output to head.

portageq best_visible: support optional pkgtype

Scheduler: fix parallel-fetch order with --jobs=1

This avoids a case where the first prefetcher is discarded, causing
the second prefetcher to occupy the fetch queue before the first
fetcher has an opportunity to execute.

unpack: remove backward compat for bug #376741

This case is extremely rare, since the most common practice is to
unpack source files that are already in the cwd. The only Gentoo
packages that needed to be fixed were games-arcade/tuxpuck and
www-plugins/google-talkplugin.

unmerge: display preserved syms in ascending ord

unpack: always unpack to cwd (bug #376741)

This brings portage into agreement with PMS. Also, for existing EAPIs,
if the source file is in a writable directory then this will create a
symlink for backward-compatible emulation of tools like gunzip and
bunzip2.

depgraph: fix duplicate zero pkg count display

unmerge: unmerge symlinks broken by rmdir

This prevents some more false alarms from commit
4bb08136f073024c5d31dceb1618b6f4e7246369.

post_emerge: just return instead of sys.exit()

unmerge: fix false alarm about protected symlinks

The error message about preserved symlinks, from commit
4bb08136f073024c5d31dceb1618b6f4e7246369, should only be triggered in
cases when the package being unmerged has the given path listed as a
symlink in its CONTENTS.

Fix a typo in a comment.

emerge: protect symlinks to directories sometimes

Before, it was possible to unmerge a symlink to a directory, such that
files installed via the path of the symlink could become inaccessible
via that path (and also making it impossible to unmerge them via that
path).

Now, the symlink will only be unmerged if the directory that it points
to only contains regular files which are all being unmerged. In any
other case, the symlink will be preserved and an eerror log message
will record the event. This will give the user an opportunity to take
further action if they deem it necessary, and such symlink preservation
will not be silent as it was reported in bug #326685, comment #3.

depgraph: handle invalid SRC_URI

This is a minimal fix for bug #376577.

config: fix AttributeError: 'NoneType' errors

This is a regression from commit
1fdeb78d08bac14f3f999f112499d179a87cf342 and it can only be triggered
when repo-level package.use is present.

merge: abort if symlink replacing dir

This is required for compliance with PMS section 13.4 as discussed in
bug #326685.

NEWS: Add note about EAPI 3 in portage-2.1.7.17.

depgraph: make --exclude handle contradictions

This makes contradictory things like `emerge -e @system --exclude gcc`
work as expected.

Fix a typo in the previous commit.

LinkageMapELF.getOwners(): add note about plibs

For preserved libraries, the owner(s) may have been been previously
uninstalled, but these uninstalled owners can be returned by this
method since they are registered in the PreservedLibsRegistry.

LinkageMapELF: fix reversed x, cpv var refs

This was an error in commit f393413c3f823ef4a60acfcc41c3920933510fc1.

LibraryConsumerSet: handle KeyError from dbapi

merge: handle symlink replacing dir

Previously, these symlinks would trigger a file collision message and
would then be silently dropped in cases when the file collsion did not
cause emerge to bail out due to FEATURES=protect-owned or
collision-protect.

Now, if emerge doesn't bail out due to a file collision, it will
trigger an eerror message and merge the symlink with a .backup.XXXX
extension appended to the file name, similar to handling of regular
files in commit 740f71301ed3daf44c0e77df5d5de39fe1438fb1. This will
fix bug 326685.

LinkageMapELF: remove 5-tuple unpack code

LinkageMapELF: add getOwners() method and use it

This preserves the owner information inside LinkageMap.rebuild() and
uses it to implement a getOwners() method, which makes it possible to
efficiently lookup owners of library providers and consumers.

LinkageMapELF: use a class for _obj_properies

This simplifies the interface, avoiding the need for hardcoded indexes
and making it easy to add new attributes.

LinkageMapELF: optimize memory usage

This reduces memory consumption by approximately 30%, by replacing
mutable set instances with arrays, tuples, and frozensets where
appropriate. Also, identical frozenset instances are shared when
available.

BinpkgFetcher: support selinux PORTAGE_FETCH_T

Thanks to Sven Vermeulen <sven.vermeulen@siphos.be> for the initial
patch posted on bug #375835.

EverythingSet: always create SLOT atoms

Before it would only include the SLOT in the atom if there were
multiple slots installed. However, taht could lead to unwanted upgrades
as reported in bug #338959. Therefore, always create SLOT atoms.

Optimize LinkageMapELF.findConsumers().

If there are no non-excluded providers then there's no need to search
for satisfied consumers.

Fix unused case in LinkageMapELF.findConsumers().

Currently, we never pass in more that one package via the
exclude_providers argument, so we never trigger the flaw in the logic
that this fixes.

Scheduler: fix _running_tasks for uninstalls

EbuildBuild: pass ebuild_path to EbuildFetcher

This avoids a redundant pordbapi.findname() call.

Make emerge --noreplace identical to --selective.

This removes a very subtle difference in --noreplace package selection
logic which is not very useful and triggers strange package selection
choices in some cases, as reported in bug #375571.

Scheduler: simplify _terminate_tasks

This should also fix bugs related to CompositeTask instances waiting
for queued tasks to start and not being properly terminated in this
case.

preserve-libs: search for alt providers of soname

This will fix bug #289180 by making LinkageMapELF.findconsumers()
exclude consumers from the results in cases when they are satisfied by
an alternative provider of the required soname.

Scheduler: allow concurrent fetch with --jobs > 1

This reverts behavior from bug #375331 (commit
f07f8386e945b48358c11c121960e4833c539752) for cases in which --jobs is
greater than 1. We can add a separate --fetch-jobs option later, but
for now, this preserves previous behavior for --jobs > 1.

Fix a typo in a doc string.

EbuildFetcher: handle FileNotFound

Fix a typo in a comment.

Binpkg: use fetch queue to cap fetch threads

This is analogous to commit f07f8386e945b48358c11c121960e4833c539752
for bug #375331, but for fetching from binhosts.

EbuildBuild: skip the fetch queue when possible

Since commit f07f8386e945b48358c11c121960e4833c539752, it was possible
for EbuildBuild to wait on the fetch queue even in cases in which all
required files had been previously fetched. Now this case is optimized
to skip the fetch queue, as discribed in bug #375331, comment #2.

Scheduler: enable prefetch for first package

Since commit f07f8386e945b48358c11c121960e4833c539752, the first will
have to wait for later ones to fetch unless we start its prefetcher
first.

EbuildBuild: use fetch queue to cap fetch threads

This will fix bug #375331.

Skip QA Notice for hasq/useq during *rm phases.

portageq: reference GLEP 37 in expand_virtual doc

Set PORTAGE_REPO_NAME for depend phase.

debuild: pass manifest to digestcheck()

This allows us to avoid parsing the Manifest twice.

doebuild: discard cached manifest when necessary

When we call digestgen(), it can regenerate our distfiles digests and
we don't wan to cache stale values in this case.

debuild: pass dist digests to fetch()

This allows us to avoid parsing the Manifest twice.

Revert "ebuild(1): allow-missing-manifests for fetch"

This reverts commit 62712db56bb863b4eb0a9d9c52e7b2c3ad38df66.

This code already defaulted to the allow-missing-manifests behavior,
since the fetch() allow_missing_digests argument default is true. By
making the argument conditional on allow-missing-manifests, it changed
the behavior in the default case where allow-missing-manifests is
disabled.

Protect EBUILD_{FORCE_TEST,SKIP_MANIFEST} vars.

These belong in the blacklist, in order to avoid potential interference
from the calling environment.

fetch: fix ebuild --skip-manifest behavior

This should fix "Insufficient data for checksum verification" errors
triggered by ebuild --skip-manifest.

BUILD_TIME: use string format op for time.time()

Use portage.subprocess_getstatusoutput() more.

Avoid baseline subprocess import under python2.

emergelog: use string format op for time.time()

emergelog: remove unneeded seek for append mode

Update timestamps in headers of modified files.

filter-bash-environment.py: move imports to top

Use explicit 'mode' keyword arg with io.open().

Use explicit 'mode' keyword arg with io.open().

resume_depgraph: be careful with parent_node type

unmerge: reject USE conditionals in arguments

misc-functions.sh: fix incorrect has -o usage

Remove unneeded _unicode_decode for io.StringIO.

Since StringIO.StringIO fallback was removed in commit
5df96179611ce0e98727945b1800b43daccedfc2, we can rely on
io.StringIO.getoutput() to return unicode, so there's no
need to call _unicode_decode on the result.

Remove python-2.6 StringIO.StringIO fallback.

Since the io module in python-2.6 was broken when threading was
disabled, we needed to fall back from io.StringIO to StringIO.StringIO
in this case (typically just for Gentoo's stage1 and stage2 tarballs).
Now that python-2.7 is stable in stages and we rely on io.open() being
available, we can also rely on io.StringIO being available.

autounmask-write: create /etc/portage if needed

elog/mod_save: fix permissions for logrotate

These permissions should be compatible with our default logrotate
config as discussed in bug 374287.

elog/mod_save: ensure parent logdir exists

resume_depgraph: fix breakage from reposyntax

This is a major regression that has been triggering lots of complaints
about emerge --keep-going.

elog/mod_save: use _ensure_log_subdirs

This fixes permission issues with category subdirectories created for
FEATURES=split-elog.

prepare_build_dirs: copy logdir group permissions

The gid of PORT_LOGDIR is copied to all subdirectories, along with
0x2070 mode bits if present.

Log maintainer info for pretend and nofetch.

Also, suppress this maintainer info from going to stdout since it's
intended for the log and it doesn't necessarily need to be visible
elsewhere. This will fix bug #374809.

prepare_build_dirs: warn for logdir permission

If there is insufficient permission to use PORT_LOGDIR or the required
subdirectory, warn instead of raising an exception. Also, fall back to
using $T/build.log as a last resort.

ebuild.sh: restore old has() implementation

The needle/haystack implementation handles whitespace as originally
intended (prior to commit 659eafddd5964820ce8bdc0d90f5fcf7df04b5b7),
as discussed in bug #374791.

Signed-off-by: Brian Harring <ferringb@gmail.com>

is_valid_package_atom: fix circular import

Due to a quirk in python import behavior, this only failed
nondeterministically. However, the new preinst sanity test in the
portage-9999 ebuild tends to trigger it more often for some people.

Remove unused codecs import.

Migrate from codecs.open() to io.open().

The io.open() function is the same as the built-in open() function in
python3, and its implementation is optimized in python-2.7 and later.
In addition to the possible performance improvement, this also allows
us to avoid any future compatibility issues with codecs.open() that
may arise if it is delegated to the built-in open() function as
discussed in PEP 400.

The main caveat involved with io.open() is that TextIOWrapper.write()
raises TypeError if given raw bytes, unlike the streams returned from
codecs.open(). This is mainly an issue for python2 since literal
strings are raw bytes. We handle this by wrapping TextIOWrapper.write()
arguments with our _unicode_decode() function. Also, the
atomic_ofstream class overrides the write() method in python2 so that
it performs automatic coercion to unicode when necessary.

Manifest: fix NameError in updateAllHashes

circular_dependency: fix total_flags calc

depgraph: more debug output for _add_pkg

This should make it easier to debug cases like bug 374423,
among others.

slot_collision: fix more for bug 374423

slot_collision: fix AttributeError for bug 374423

depgraph: reject USE conditionals in arguments

circular_dependency: fix REQUIRED_USE test

circular_dependency: fix ridiculously long loop

The flags from REQUIRED_USE were added to affecting_use, which was not
really necessary and was a bad idea because a number of flags in
affecting_use affects our number of loops exponentially. This will fix
bug #374397 in which the large number of flags in the REQUIRED_USE of
dev-lang/php-5.3.6-r1 triggered execution of 2 ^ 45 loops.

slot_collision: be consistent with missing IUSE

Special handling for missing IUSE that was introduced in commit
9a193d42032005396800eb30e550691513529c79 is also useful in one
more spot.

circular_dependency: show debug graph earlier

This might help in some cases like bug 374397 where we're
troubleshooting the circular_dependency code.

circular_dependency: use itertools.product()

Python's cartesian product function does exactly what we want, so use
it to simplify our code.