AsynchronousLock: use os.read/write

Similar to commit b432a1b3051d91546649e8f3190675767461d8e8, don't use
unecessary file objects. It also happens that these changes fix
compatibility issues with PyPy.

checksum.py: detect PyPy crashes in hashlib

Use a fork to try and PyPy by digesting random data with hashlib
functions. It doesn't look like a bug has been reported upstream for
this yet, so it may or may not be reproducible by others. Anyway, this
allows me to avoid crashing the main PyPy process until I find a real
fix.

_emerge/EbuildMetadataPhase.py: use os.read()

There's no need for a file object, and file objects introduce
complexity that can lead to bugs as mentioned in bug 337465 comment 31,
so use os.read() directly on the file descriptor.

_emerge/SubProcess.py: support int fd in _files

MergeProcess: check if _elog_reader_fd is None

It seems saner to check for None, given that _elog_reader_fd is an int,
even though it will probably never be zero.

locks.py: use flock with PyPy for issue 747

make.conf(5): clarify "repo" and "defaults" sources for USE_ORDER

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

doebuild: disable noauto for binary packages

movefile: tweak unicode handling

movefile: chown/mod before rename

movefile: avoid redundant string concatenations

movefile: remove unused lchown

Preserve extended attributes on regular files when using Python >=3.3.

Revert "dblink.mergeme(): Merge files in alphabetic order."

This reverts commit 1d4ac47c28706094230cb2c4e6ee1c1c71629aa0.
As discussed on the gentoo-portage-dev mailing list, if we don't have
a compelling reason to sort here then it's just a waste:

http://archives.gentoo.org/gentoo-portage-dev/msg_67b08fcd7a1b832b347caf1b19362cbb.xml

_get_dep_chain: fix KeyError, bug #392059

This fixes a regression since commit
57cc4e3e8991e7c4394d1dff7698aa62ed2a286b, which make a faulty
assumption that the digraph contained all of the edges contained in
parent_atoms.

config: fix make.defaults inherit of make.globals

Since commit e544ee13527a0568de2b556510280ed96fc1b3ff, make.defaults
inheritance of variables from make.globals has been broke, since that
commit excluded make.globals from expand_map. This broke settings like
PORTAGE_ELOG_CLASSES="${PORTAGE_ELOG_CLASSES} qa" from the developer
profile, as reported in bug #391323, comment #4.

dblink.mergeme(): Merge files in alphabetic order.

elog/mod_syslog: fix 1 char msgs, bug #390965

emerge-webrsync: new gpg key, bug #331537

repoman: fix svn "abiguous workdir", bug #391199

man/emerge.1: note that --jobs redirects output

emerge --help: show --quiet-build

_prepare_self_update: detect if already called

This is should never be triggered by portage, but it's possible that
an API consumer might trigger it somehow.

Schduler: _check_temp_dir in _handle_self_update

collect_ebuild_messages: handle \r, bug #390833

resolver/output: unused imports

_make_msgfunction: convert to class

config: tweak mapping implementation more

config: centralize mapping impl in _getitem/pop

collect_ebuild_messages: validate msg type

This will handle invalid message types like the one that triggers the
KeyError in dblink._elog_process for bug #390833. It will also output
the content of the line in order to help diagnose the source of
corruption.

emerge --changelog: omit entry for current ver

This is a regression from commit
69d7f169ba2e27cf56746791331c63a019357100, reported in bug #390893.

depgraph: don't merge portage asap

There's no need to do this anymore, because we don't restart since
commit d3f704a425a50b5cfa997a25866929b30f1b7d0f.

Tweak the last commit.

Skip the "resume after portage update" routine.

Instead, finish the whole job using a copy of the currently running
instance. This allows us to avoid the complexities of emerge --resume,
such as the differences in option handling between different portage
versions, as reported in bug #390819.

Show action as --action in emerge.log arg list.

Show option arguments in emerge.log arg list.

pkg_pretend: handle interruption more

pkg_pretend: tweak final cleanup logic

This ensures that the clean phase will not run if the user interrupts
emerge before the build dir is locked.

Scheduler.py: remove unused vars (pyflakes)

Tweak emerge --quiet-build default handling.

Since --quiet-build is enabled be default, there's no need to have it
in the options dict except when it is enabled.

pkg_pretend: lock before unpacking binpkg xpak

This fixes a regression from the previous commit.

pkg_pretend: clean first for bug #390711

emerge --quiet-build: don't set PORTAGE_QUIET

The PORTAGE_QUIET controls lots of stuff that really should only be
controlled by --quiet, especially now that --quiet-build is enabled by
default. For example, PORTAGE_QUIET supresses the successful checksum
display that is produced by emerge --fetchonly.

xterm title HOSTNAME support, bug #390699

checksum.py: handle pycrypto breakage

make.conf: sync PORTAGE_ELOG_SYSTEM example

Synchronize the PORTAGE_ELOG_SYSTEM example with the default
make.globals setting.

Enable emerge --quiet-build by default.

See discussion on the gentoo-dev mailing list:

http://archives.gentoo.org/gentoo-dev/msg_4f0401066abe2dc04458a952ac2a17bd.xml

Move ccache/distcc PATH code to doebuild_env.

Use local EPREFIX for uniformity.

The EPREFIX variable is not readonly in EAPI 0, 1, and 2, so we can
declare EPREFIX as a local variable. We must be careful not to let this
variable leak into the environment of ebuild/eclass functions that we
call, since bash propagates local variables to nested function calls.

Use local ED for uniformity.

The ED variable is not readonly in EAPI 0, 1, and 2, so we can declare
ED as a local variable. We must be careful not to let this variable
leak into the environment of ebuild/eclass functions that we call,
since bash propagates local variables to nested function calls.

Use get(REQUIRED_USE) for emphasis.

None of these cases should raise KeyError, but use get(REQUIRED_USE)
anyway to emphasize that care must be taken.

depgraph: fix possible REQUIRED_USE KeyError

This goes with commit a0961708ced50c90497811058eda6f4513d2986d.

_doebuild_path: fix EAPI 3 helpers PATH

phase-functions.sh: remove stray echo

Include EPREFIX directories in PATH.

This relocates the PATH generation code from ebuild.sh to
doebuild_environment, which helps to eliminate duplicate code.

has/best_version: fix grammar in docs

ecompressdir: remove 'continue' from loop logic

Hopefully this helps us avoid errors in loop logic like bug #389047.

tests/emerge: best/has_version with prefix EAPI

test_multislot: fix EAPI

depgraph._queue_disjunctive_deps(): Pass EAPI to portage.dep.Atom().

best/has_version: fix eroot assignment

Only support ROOT override for best/has_version.

In the context of ebuilds, ROOT=/ override is the only common case, so
it makes sense to only support ROOT overrides.

Allow repository dependencies in command line arguments for --config and --info actions.

Fix best/has_version ROOT override for EAPI 3-4.

This has been broken since commit
ab484dc9a2612aa6709fad3ff926c8589a706637. In order to support prefix,
callers will have to override EROOT instead.

Fix breakage from last commit.

Avoid initial spaces in some variables.

REQUIRED_USE: don't save in built packages

It should be safe to assume that REQUIRED_USE is satisfied if the
package is built, so it's a waste to save it. Also, fix code which
assumes that built Package instances have a REQUIRED_USE key in their
metadata.

environment.bz2: filter more variables

save_ebuild_env: filter more functions

dyn_pretend
helpers_die
nonfatal
register_success_hook

Handle empty PORTAGE_COMPRESS for bug #389047.

This fixes a case where empty PORTAGE_COMPRESS made ecompressdir forget
to call restore_skip_dirs, such that docompress -x resulted in files
not being installed due to hide_skip_dirs hiding them permanently.

emerge --changelog: ChangeLog-YYYY, bug #389611

Respect --usepkgonly in suggestions, bug #389617

Add emerge --moo action for bug #389609.

runtests.sh: use 0 to control arg parse loop

Enable colors during the depend phase.

phase-helpers.sh: fix best/has_version for prefix

test_dodir: fix breakage from last commit

We have to set the EAPI for prefix code to work.

Add EPREFIX and ED support in all ebuild helpers.

This allows our prefix tests to use helpers like insinto, doins, and dosym.

Merge install_qa_check_prefix from prefix branch.

_profile_node: use collections.namedtuple

news.py: remove unused 'updates' variable

_legacy_globals: fix grammar in comment

Fix typos in comments.

git_sync_timestamps: validation_chf == mtime

egencache: tweak redundant write check condition

We can use the raise_stat_collision attribute to determine when it is
necessary to check for redundant writes.

env_update: lstrip os.sep in join with eprefix

portagetree: remove broken depcheck method

It called dep_check without the required third argument.

Use dbapi._known_keys more.

cache/template.__getitem__: filter INHERITED

Never return INHERITED, since portdbapi.aux_get() will generate it
automatically from _eclasses_, and we want to omit it in comparisons
between cache entries like those that egencache uses to avoid redundant
writes (see commit 0e120da008c9d0d41c9372c81145c6e153028a6d).

action_metadata: clean up src entry validation

This eliminates a bunch of redundant eclasses code that we handle with
template.validate_entry() instead.

EbuildMetadataPhase: use /dev/null for stdin

actions.py: remove unused variables

action_metadata: use auxdbkeys to compare entries

This borrows the approach that egencache uses since commit
0e120da008c9d0d41c9372c81145c6e153028a6d.

egencache: avoid redundant md5-dict writes

The pms cache already does this automatically, since __setitem__ calls
are used to detect stat collisions in order to solve bug #139134.

egencache: ensure correct porttrees

The GenCache class assumes that portdb.porttrees[0] is the desired
tree, so assert that it is true. The behavior should have already been
correct, since PORTDIR_OVERLAY was already set to an empty string when
necessary.

egencache: fix StatCollision handling breakage

This has been broken since the _eclasses_ structure changed in commit
2ed1cb53cc4158af08c22d466b15b9a9a7767212.

egencache: update ebuild_hash.mtime after utime

emerge --metadata: support md5-dict

This adds support to action_metadata() for use of arbitrary validation
methods, which were introduced in commit
2ed1cb53cc4158af08c22d466b15b9a9a7767212.

man/portage.5: profile-formats example

man/portage.5: cache-formats example