portage.const: toggle constants for stable branch

Optimize sys.std* flush code.

make.conf.5: s/Hash functions/Hash function/

Use sys.__std*.fileno() in case of overrides.

This fixes AttributeError exceptions for API consumers that override
sys.std* streams pseudo-file objects.

EventLoop: handle EINTR IOError for epoll

EventLoop: use epoll when available

This will fix bug #432024.

_apply_hash_filter: make hash_filter simpler

Now any callable object will work, which might be helpful for
consumers of the Manifest.checkFileHashes() method.

Implement PORTAGE_CHECKSUM_FILTER for bug #432170

PollScheduler: use timeout for loadavg checks

This ensures that the code from commit
fe03b5fd790fc09bd6594c55bb174e80aaac1e5a behaves correctly even when
there are no poll events arriving for a long time (which might happen
if the running builds don't produce output for a long time).

Scheduler: only use poll timeout when needed

This avoids wasteful CPU consumption, as reported in bug #432024.

make.conf.5: warn about PORTAGE_TMPDIR in PORTDIR

This will fix bug #392565.

emerge-delta-webrsync: tweak "recompressing" msg

FEATURES=webrsync-gpg forces it to recompress in the foreground.

emerge-delta-webrsync: improve date calculations

This borrows some code from emerge-webrsync, and will fix bug #153513.

emerge-webrsync: fix date usage for BSD

emerge-webrsync: use ${PORTAGE_TMPDIR}/portage

For consistency with commit 83e677766650e73071813c0d46547647e5f66029.

emerge-*webrsync: use ${PORTAGE_BIN_PATH}/emerge

emerge-*webrsync: fix post_sync for prefix

emerge-delta-webrsync: mktemp in PORTAGE_TMPDIR

This will fix bug #198362.

emerge-delta-webrsync: fix make.globals path

emerge-delta-webrsync: rm -f for non-interactive

This prevents interactive mode as reported in bug #176008.

emerge-delta-webrsync: normalize fetch URI

This will fix bug #124072.

emerge-delta-webrsync: PORTAGE_RSYNC_OPTS

emerge-delta-webrsync: add -q/--quiet option

emerge-delta-webrsync: check write permission

This will fix bug #176008.

emerge-delta-webrsync: handle FEATURES=usersync

emerge-delta-webrsync: support gpg verification

This will fix bug #286373.

BUG: Signature verification will fail if the local bzip2 program does
not produce output that is perfectly identical to the bzip2 program
used to compress the signed tar file.

emerge-delta-webrsync: remove umd5sum

This will fix bug #189084.

emerge-delta-webrsync: call portageq for config

mkrelease.sh: include new misc dir

BashSyntaxTestCase: include new misc dir

emerge-delta-webrsync: import version 3.5.1-r3

metadata.dtd: update to latest

egencache: add a standard -j flags for --jobs

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Remove tests for deprecated 3_pre2 EAPI.

emerge-webrsync: PORTAGE_RSYNC_OPTS, bug #364105

emerge-webrsync: preserve ownership for usersync

emerge-webrsync: check permission, bug #142202

emerge-webrsync: add -k/--keep option

emerge-webrsync: adjust for 00:45 snapshots

The time changed from 01:45 to 00:45 some time ago.

emaint logs: simplify error output handling

emaint: cleanup TaskHandler isatty logic

installsources: fix file permissions, bug #430962

emaint binhost: support compress-index

repoman: remove IUSE.undefined check

This was suggested in the "Don't require assignment of empty variables
in ebuilds?" thread on the gentoo-dev mailing list:

  http://thread.gmane.org/gmane.linux.gentoo.devel/78806

bintree.inject(): write Packages.gz atomically

Portage writes a compressed copy of 'Packages' index file.

This behaviour is enabled by FEATURES="compress-index". The
resulting file is 'Packages.gz' and its modification time will
match that of 'Packages'.

Web-servers use that copy to avoid repeated on-the-fly compression.

In order to re-use 'atomic_ofstream' usage of 'codecs.zlib_codec'
has been considered and discarded, because 'GzipFile' yields
smaller files. (According to Mark's tests 62% smaller.)

Example usage, Nginx:

  location =/Packages {
    gzip_static on;
    default_type text/plain;
  }

Apache httpd (use with caution):

  RewriteRule ^(.*)/Packages$ $1/Packages.gz [T=text/plain,E=GZIP:gzip,L]
  <FilesMatch "Packages\.gz$">
    Header set Content-Encoding gzip
  </FilesMatch>

Revert "econf: add --disable-silent-rules, bug #379497#c6"

This reverts commit 1cc39de72ac5311db748341ef9183586556719d9.

It may be unsafe to call configure --help with some configure scripts,
as noted in bug #379497, comment #34.

man/portage.5: note GLEP 37 virtuals, bug #429978

repoman: libusb virtual.suspect, bug #417123

elog: enable save_summary:qa by default

QA warnings still won't be echoed by default, but they will be saved in
summary.log.

econf: add --disable-silent-rules, bug #379497#c6

WhirlpoolAdd: raise TypeError if not bytes

vardbapi: optimize pickle load for Python >=3.2

parse_desktop_entry: fix python3 bug #429544

_urlopen: fix python2 http password breakage

This broke in commit e06cb6d66db37ac7ab77acf65038b1f770c13c96 since
CompressedResponseProcessor did not include password auth support.

BUG: The if_modified_since parameter appears to be ignored when using
http password authentication.

Fix index file's mtime, which can differ from TIMESTAMP.

This enables Portage to reliably query for remote indices with
HTTP-header If-Modified-Since.

Without this patch mtime is greater than TIMESTAMP for large
indices and slow storages - because writing a large file takes
time. If the difference spans a second (TIMESTAMP 08:00:00, mtime
08:00:01), then Portage will always fetch the remote index because
it will appear being modified (mtime is used there) after the copy
has been made (local copy's TIMESTAMP is used here).

Add support for HTTP compression (bzip2, gzip and deflate).

Use If-Modified-Since HTTP-header and avoid downloading a remote index if the local copy is recent enough.

Use nanosecond precision in chpathtool when using Python >=3.3.

Use nanosecond precision in cache for category directory mtimes
and cache for cp_list results when using Python >=3.3.

Use nanosecond precision in portage.util.movefile.movefile().

Check for desktop-file-validate binary.

Validate desktop entries after src_install.

get_term_size: handle missing stty command

get_term_size: pass fd to stty

get_term_size: pass fd to curses.setupterm()

get_term_size: handle temporary stdout overrides

_selinux/spawn_wrapper: setexec *after* fork

This avoids any interference with concurrent threads in the calling
process.

Makefile: drop /etc/make.globals sym, bug #427862

Any consumers of /etc/make.globals can be fixed to use
/usr/share/portage/config/make.globals directly.

make.conf: clarify -frecord-gcc-switches

output: allow to use stderr in TermProgressBar

emaint: split into separate modules

TermProgressBar: fix broken ref to "image" var

Broken since commit 0623e44a500125064525413404948af9179747a9.

get_term_size: check if sys.stderr.isatty()

ebuild.5: fix (-) use dep example for bug #427384

slotmove: update comment about EAPI 4-slot-abi

Fix extended atom match for =* operator.

match_from_list: match slot for extended atoms

etc-update: fix --automode -5, bug #427068

Support =*/*-*9999* wildcard atom, bug #402197.

depgraph: __auto_rebuild__ KeyError, bug #427036

portage.update: use isvalidatom for EAPI check

tests/update: fix whitespace

move: respect EAPI wrt dots_in_PN, bug #426476

Propagate EAPI for update_dbentry (bug #426476).

prepstrip: avoid rm warning about cwd

test_move_slot_ent: workaround for 1s timestamps

slotmove: fix handling for EAPI 4-slot-abi

This is just a really minimal fix, in order to prevent slotmove from
behaving incorrectly with packages that use EAPI 4-slot-abi. Any
slotmove commands that try so specify a sub-slot are treated as invalid
for now, since that will required additional EAPI conditional logic, as
reported in bug #426476.

vardbapi: use float mtime for aux cache

manifest: remove unused mhashes variable

Skip whirlpool digest check when unaccelerated.

If multiple digests are available and whirlpool is unaccelerated, then
skip it. This allows extreme performance problems like bug #425046 to
be avoided whenever practical, especially for cases like stage builds
where acceleration may not be available for some hashes due to
minimization of dependencies.

tests: support NOCOLOR env variable

Fix --complete-graph-if-new-use for --autounmask.

emerge: add --complete-graph-if-new-use < y | n >

Trigger the --complete-graph behavior if USE or IUSE will change for
an installed package. This option is enabled by default. This will fix
bug #425558.

ebuild(5): note that keepdir/dodir accept multiple paths

Current documentation indicates these only take one path, but they both
accept an arbitrary number of paths.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

migrate emaint to use the new title and label features of the progressbar.

fix a couple more inconsistancies in the progessbar title, label changes.

TermProgressBar: Fix to do 80 chars (not 81)

PORTAGE_GPG_SIGNING_COMMAND: --digest-algo SHA256

apply Federico "fox" Scrinzi progressbar additions of title and label display. Fix a couple bugs and add max_desc_length param.