Binpkg: handle missing dir after chpathtool

Binpkg: fix os.path.dirname() usage

It doesn't behave as intended for $ED which has a trailing slash.

Binpkg: add chpathtool support for prefix

This uses a python-based chpathtool implementation which is intended to
be compatible with the C-based implemenation that the prefix branch
uses.

BinpkgEnvExtractor: fix PORTAGE_LOG_FILE spelling

Support FEATURES=xattr.

portage.util.movefile._copyxattr(): Support usage of xattr module from
dev-python/pyxattr.

portage.util.movefile._copyxattr(): Support usage of getfattr and
setfattr executables.

data.py: grp/pwd struct attrs, not indexes

Auto-generate PORTAGE_GRP/USERNAME for prefix.

For prefix environments, default to the UID and GID of the top-level
EROOT directory. This allows us to avoid using hardcoded defaults. It's
still possible to override these variables via make.conf.

Auto-generate PORTAGE_INST_GID/UID for prefix.

For prefix environments, default to the UID and GID of the top-level
EROOT directory. This allows us to avoid using hardcoded defaults. It's
still possible to override these variables via make.conf.

portageq: get_repo* uses_root

Delete portage.dbapi.porttree._repo_info class and _repo_info attribute of
portage.dbapi.porttree.portdbapi objects. Migrate consumers to repositories
attribute of portage.dbapi.porttree.portdbapi objects.

tests/bin: sanitize env

This fixes interference from FEATURES=force-prefix in the env.

Add eclass_db attribute in portage.repository.config.RepoConfig objects.

load_emerge_config: init portage.data earlier

The portage_uid initialization here must to happend before the
_init_dirs() calls.

Enable PORTAGE_GRPNAME/USERNAME in make.conf.

This is handy for prefix installs, since it allows these variables to
be set in make.conf rather than having them hardcoded. Eventually,
the corresponding portage.data constants may be deprecated in favor of
config attributes, since it's conceivable that multiple configurations
with different constants could be used simultaneously.

Add portage.const.EPREFIX, for prefix installs.

The EPREFIX for the current install is hardcoded here, but access to
this constant should be minimal, in favor of access via the EPREFIX
setting of a config instance (since it's possible to contruct a config
instance with a different EPREFIX).

dispatch-conf: substitute ${EPREFIX} archive-dir

This allows prefix installs to avoid hardcoding archive-dir.

etc-update: use PORTAGE_INST_UID/GID

make.globals: use ${EPREFIX} for PORTDIR, etc...

Use 'wget' instead of /usr/bin/wget everywhere.

This reduces the amount of patching needed for prefix installs.

etc-update: experimental prefix support

Whitelist/filter __PORTAGE_TEST_EPREFIX.

Support FEATURES=force-prefix.

This adjusts the logic from commit
ff52f9dc31004becb8022e6437088d01917f413c to use FEATURES=force-prefix
instead of USE=prefix. This has the advantage that we don't have to
make any assumptions about the USE=prefix.

dispatch-conf: experimental prefix support

Save EPREFIX in vdb when appropriate.

The prefix branch already does this since it makes it easy to use
chpathtool to adjust the content of a binary package so that it will
work in a different EPREFIX from the one is was built for.

Make USE=prefix enable EPREFIX in all EAPIs.

This is safe because the prefix flag should be masked in all non-prefix
profiles, and older EAPIs would otherwise be useless with prefix
configurations. This brings compatibility with the prefix branch of
portage, which also supports EPREFIX for all EAPIs (for obvious
reasons).

man: document fixpackages for bug #393517

sets.docbook: fix 'strictly' spelling

ebuild.sh: don't export inherit E_* vars

emerge-webrsync: use --quiet with --check-news

This suppresses output if there are no relevant items.

emerge-webrsync: call emerge --check-news

action_sync: fix git_sync_timestamps KeyError

This fixes the case where $PORTDIR doesn't exist prior to sync.

ebuild.sh: add note about quoting export ${FOO}=

ebuild.sh: quote sandbox export args

fix logic from last commit

depgraph: fix case insensitive search for unsat

This fixes an interaction between the code from commits
9ce6da43ab90c4dab97ebf3b8339e5dbc113a0a8 and
cbe44d92ff13b8a22f5b4215b73078ce600c6bf4, so that we don't discard
matches that are identical except for differnces in upper/lower case.

action_depclean: fix return code

The fixes some cases where emerge.log would show that depclean was
unsuccessful when it was really successful but there was nothing to
remove.

Handle OSError from os.read and loop if needed.

Looping fixes EbuildMetadataPhase failures for ebuilds that produce
more than 4096 bytes of metadata, broken since commit
b432a1b3051d91546649e8f3190675767461d8e8.

process._exec: tweak opt_name for PyPy

PyPy 1.7 will die due to "libary path not found" if argv[0] does not
contain the full path of the binary.

PipeReader: use os.read/write

test_uniqueArray.py: fix 'is' usage PyPy incompat

AsynchronousLock: use os.read/write

Similar to commit b432a1b3051d91546649e8f3190675767461d8e8, don't use
unecessary file objects. It also happens that these changes fix
compatibility issues with PyPy.

checksum.py: detect PyPy crashes in hashlib

Use a fork to try and PyPy by digesting random data with hashlib
functions. It doesn't look like a bug has been reported upstream for
this yet, so it may or may not be reproducible by others. Anyway, this
allows me to avoid crashing the main PyPy process until I find a real
fix.

_emerge/EbuildMetadataPhase.py: use os.read()

There's no need for a file object, and file objects introduce
complexity that can lead to bugs as mentioned in bug 337465 comment 31,
so use os.read() directly on the file descriptor.

_emerge/SubProcess.py: support int fd in _files

MergeProcess: check if _elog_reader_fd is None

It seems saner to check for None, given that _elog_reader_fd is an int,
even though it will probably never be zero.

locks.py: use flock with PyPy for issue 747

make.conf(5): clarify "repo" and "defaults" sources for USE_ORDER

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

doebuild: disable noauto for binary packages

movefile: tweak unicode handling

movefile: chown/mod before rename

movefile: avoid redundant string concatenations

movefile: remove unused lchown

Preserve extended attributes on regular files when using Python >=3.3.

Revert "dblink.mergeme(): Merge files in alphabetic order."

This reverts commit 1d4ac47c28706094230cb2c4e6ee1c1c71629aa0.
As discussed on the gentoo-portage-dev mailing list, if we don't have
a compelling reason to sort here then it's just a waste:

http://archives.gentoo.org/gentoo-portage-dev/msg_67b08fcd7a1b832b347caf1b19362cbb.xml

_get_dep_chain: fix KeyError, bug #392059

This fixes a regression since commit
57cc4e3e8991e7c4394d1dff7698aa62ed2a286b, which make a faulty
assumption that the digraph contained all of the edges contained in
parent_atoms.

config: fix make.defaults inherit of make.globals

Since commit e544ee13527a0568de2b556510280ed96fc1b3ff, make.defaults
inheritance of variables from make.globals has been broke, since that
commit excluded make.globals from expand_map. This broke settings like
PORTAGE_ELOG_CLASSES="${PORTAGE_ELOG_CLASSES} qa" from the developer
profile, as reported in bug #391323, comment #4.

dblink.mergeme(): Merge files in alphabetic order.

elog/mod_syslog: fix 1 char msgs, bug #390965

emerge-webrsync: new gpg key, bug #331537

repoman: fix svn "abiguous workdir", bug #391199

man/emerge.1: note that --jobs redirects output

emerge --help: show --quiet-build

_prepare_self_update: detect if already called

This is should never be triggered by portage, but it's possible that
an API consumer might trigger it somehow.

Schduler: _check_temp_dir in _handle_self_update

collect_ebuild_messages: handle \r, bug #390833

resolver/output: unused imports

_make_msgfunction: convert to class

config: tweak mapping implementation more

config: centralize mapping impl in _getitem/pop

collect_ebuild_messages: validate msg type

This will handle invalid message types like the one that triggers the
KeyError in dblink._elog_process for bug #390833. It will also output
the content of the line in order to help diagnose the source of
corruption.

emerge --changelog: omit entry for current ver

This is a regression from commit
69d7f169ba2e27cf56746791331c63a019357100, reported in bug #390893.

depgraph: don't merge portage asap

There's no need to do this anymore, because we don't restart since
commit d3f704a425a50b5cfa997a25866929b30f1b7d0f.

Tweak the last commit.

Skip the "resume after portage update" routine.

Instead, finish the whole job using a copy of the currently running
instance. This allows us to avoid the complexities of emerge --resume,
such as the differences in option handling between different portage
versions, as reported in bug #390819.

Show action as --action in emerge.log arg list.

Show option arguments in emerge.log arg list.

pkg_pretend: handle interruption more

pkg_pretend: tweak final cleanup logic

This ensures that the clean phase will not run if the user interrupts
emerge before the build dir is locked.

Scheduler.py: remove unused vars (pyflakes)

Tweak emerge --quiet-build default handling.

Since --quiet-build is enabled be default, there's no need to have it
in the options dict except when it is enabled.

pkg_pretend: lock before unpacking binpkg xpak

This fixes a regression from the previous commit.

pkg_pretend: clean first for bug #390711

emerge --quiet-build: don't set PORTAGE_QUIET

The PORTAGE_QUIET controls lots of stuff that really should only be
controlled by --quiet, especially now that --quiet-build is enabled by
default. For example, PORTAGE_QUIET supresses the successful checksum
display that is produced by emerge --fetchonly.

xterm title HOSTNAME support, bug #390699

checksum.py: handle pycrypto breakage

make.conf: sync PORTAGE_ELOG_SYSTEM example

Synchronize the PORTAGE_ELOG_SYSTEM example with the default
make.globals setting.

Enable emerge --quiet-build by default.

See discussion on the gentoo-dev mailing list:

http://archives.gentoo.org/gentoo-dev/msg_4f0401066abe2dc04458a952ac2a17bd.xml

Move ccache/distcc PATH code to doebuild_env.

Use local EPREFIX for uniformity.

The EPREFIX variable is not readonly in EAPI 0, 1, and 2, so we can
declare EPREFIX as a local variable. We must be careful not to let this
variable leak into the environment of ebuild/eclass functions that we
call, since bash propagates local variables to nested function calls.

Use local ED for uniformity.

The ED variable is not readonly in EAPI 0, 1, and 2, so we can declare
ED as a local variable. We must be careful not to let this variable
leak into the environment of ebuild/eclass functions that we call,
since bash propagates local variables to nested function calls.

Use get(REQUIRED_USE) for emphasis.

None of these cases should raise KeyError, but use get(REQUIRED_USE)
anyway to emphasize that care must be taken.

depgraph: fix possible REQUIRED_USE KeyError

This goes with commit a0961708ced50c90497811058eda6f4513d2986d.

_doebuild_path: fix EAPI 3 helpers PATH

phase-functions.sh: remove stray echo

Include EPREFIX directories in PATH.

This relocates the PATH generation code from ebuild.sh to
doebuild_environment, which helps to eliminate duplicate code.

has/best_version: fix grammar in docs

ecompressdir: remove 'continue' from loop logic

Hopefully this helps us avoid errors in loop logic like bug #389047.

tests/emerge: best/has_version with prefix EAPI