emaint logs: simplify error output handling

emaint: cleanup TaskHandler isatty logic

installsources: fix file permissions, bug #430962

emaint binhost: support compress-index

repoman: remove IUSE.undefined check

This was suggested in the "Don't require assignment of empty variables
in ebuilds?" thread on the gentoo-dev mailing list:

  http://thread.gmane.org/gmane.linux.gentoo.devel/78806

bintree.inject(): write Packages.gz atomically

Portage writes a compressed copy of 'Packages' index file.

This behaviour is enabled by FEATURES="compress-index". The
resulting file is 'Packages.gz' and its modification time will
match that of 'Packages'.

Web-servers use that copy to avoid repeated on-the-fly compression.

In order to re-use 'atomic_ofstream' usage of 'codecs.zlib_codec'
has been considered and discarded, because 'GzipFile' yields
smaller files. (According to Mark's tests 62% smaller.)

Example usage, Nginx:

  location =/Packages {
    gzip_static on;
    default_type text/plain;
  }

Apache httpd (use with caution):

  RewriteRule ^(.*)/Packages$ $1/Packages.gz [T=text/plain,E=GZIP:gzip,L]
  <FilesMatch "Packages\.gz$">
    Header set Content-Encoding gzip
  </FilesMatch>

Revert "econf: add --disable-silent-rules, bug #379497#c6"

This reverts commit 1cc39de72ac5311db748341ef9183586556719d9.

It may be unsafe to call configure --help with some configure scripts,
as noted in bug #379497, comment #34.

man/portage.5: note GLEP 37 virtuals, bug #429978

repoman: libusb virtual.suspect, bug #417123

elog: enable save_summary:qa by default

QA warnings still won't be echoed by default, but they will be saved in
summary.log.

econf: add --disable-silent-rules, bug #379497#c6

WhirlpoolAdd: raise TypeError if not bytes

vardbapi: optimize pickle load for Python >=3.2

parse_desktop_entry: fix python3 bug #429544

_urlopen: fix python2 http password breakage

This broke in commit e06cb6d66db37ac7ab77acf65038b1f770c13c96 since
CompressedResponseProcessor did not include password auth support.

BUG: The if_modified_since parameter appears to be ignored when using
http password authentication.

Fix index file's mtime, which can differ from TIMESTAMP.

This enables Portage to reliably query for remote indices with
HTTP-header If-Modified-Since.

Without this patch mtime is greater than TIMESTAMP for large
indices and slow storages - because writing a large file takes
time. If the difference spans a second (TIMESTAMP 08:00:00, mtime
08:00:01), then Portage will always fetch the remote index because
it will appear being modified (mtime is used there) after the copy
has been made (local copy's TIMESTAMP is used here).

Add support for HTTP compression (bzip2, gzip and deflate).

Use If-Modified-Since HTTP-header and avoid downloading a remote index if the local copy is recent enough.

Use nanosecond precision in chpathtool when using Python >=3.3.

Use nanosecond precision in cache for category directory mtimes
and cache for cp_list results when using Python >=3.3.

Use nanosecond precision in portage.util.movefile.movefile().

Check for desktop-file-validate binary.

Validate desktop entries after src_install.

get_term_size: handle missing stty command

get_term_size: pass fd to stty

get_term_size: pass fd to curses.setupterm()

get_term_size: handle temporary stdout overrides

_selinux/spawn_wrapper: setexec *after* fork

This avoids any interference with concurrent threads in the calling
process.

Makefile: drop /etc/make.globals sym, bug #427862

Any consumers of /etc/make.globals can be fixed to use
/usr/share/portage/config/make.globals directly.

make.conf: clarify -frecord-gcc-switches

output: allow to use stderr in TermProgressBar

emaint: split into separate modules

TermProgressBar: fix broken ref to "image" var

Broken since commit 0623e44a500125064525413404948af9179747a9.

get_term_size: check if sys.stderr.isatty()

ebuild.5: fix (-) use dep example for bug #427384

slotmove: update comment about EAPI 4-slot-abi

Fix extended atom match for =* operator.

match_from_list: match slot for extended atoms

etc-update: fix --automode -5, bug #427068

Support =*/*-*9999* wildcard atom, bug #402197.

depgraph: __auto_rebuild__ KeyError, bug #427036

portage.update: use isvalidatom for EAPI check

tests/update: fix whitespace

move: respect EAPI wrt dots_in_PN, bug #426476

Propagate EAPI for update_dbentry (bug #426476).

prepstrip: avoid rm warning about cwd

test_move_slot_ent: workaround for 1s timestamps

slotmove: fix handling for EAPI 4-slot-abi

This is just a really minimal fix, in order to prevent slotmove from
behaving incorrectly with packages that use EAPI 4-slot-abi. Any
slotmove commands that try so specify a sub-slot are treated as invalid
for now, since that will required additional EAPI conditional logic, as
reported in bug #426476.

vardbapi: use float mtime for aux cache

manifest: remove unused mhashes variable

Skip whirlpool digest check when unaccelerated.

If multiple digests are available and whirlpool is unaccelerated, then
skip it. This allows extreme performance problems like bug #425046 to
be avoided whenever practical, especially for cases like stage builds
where acceleration may not be available for some hashes due to
minimization of dependencies.

tests: support NOCOLOR env variable

Fix --complete-graph-if-new-use for --autounmask.

emerge: add --complete-graph-if-new-use < y | n >

Trigger the --complete-graph behavior if USE or IUSE will change for
an installed package. This option is enabled by default. This will fix
bug #425558.

ebuild(5): note that keepdir/dodir accept multiple paths

Current documentation indicates these only take one path, but they both
accept an arbitrary number of paths.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

migrate emaint to use the new title and label features of the progressbar.

fix a couple more inconsistancies in the progessbar title, label changes.

TermProgressBar: Fix to do 80 chars (not 81)

PORTAGE_GPG_SIGNING_COMMAND: --digest-algo SHA256

apply Federico "fox" Scrinzi progressbar additions of title and label display. Fix a couple bugs and add max_desc_length param.

PORTAGE_GPG_SIGNING_COMMAND: --digest-algo SHA512

SlotAbiEmergeTestCase: test new downgrade code

vartree.py: fix stutter in comment

Rebuild for slot-abi downgrades, bug #424651.

ConfigTestCase: fix warning about manifest-hashes

const: Adjust MANIFEST2_* for new defaults

emerge: more helpful "non-existent set" message

emaint: remove obsolete world category check

The reason for this check, as discussed in bug #166785, is no longer
relevant since emerge does not suggest to run `emaint --check world` in
this case anymore.

Atom: tweak indent for slot logic

Fix unmerge-backup/preserve-libs interaction.

_pre_unmerge_backup: show failure message

portage.const: tweak preserve-libs conditional

Atom: evaluate_conditionals slot-abi, bug #424489

Don't use SIGUSR1 under Jython, bug #424259.

_quickpkg_dblink: set PYTHONPATH for quickpkg

Fix bugs in binarytree.invalids usage.

Support FEATURES={downgrade,unmerge}-backup

This will fix bug #156282 and bug #424275.

man/emerge.1: note that --resume re-uses options

ebuild(5): add missing bold around EAPI {3,4} mention

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

egencache: prune empty cache directories

BacktrackParameter: fix runtime_pkg_mask copy

This caused the backtracker to bail out too early sometimes.

slot_conflict_handler: handle slot_abi

We have to distinguish this from the "version" conflict, in order to
avoid invalid vercmp calls when there's not version.

_slot_abi: fix broken function refs

whitelist PORTAGE_DOHTML_WARN_ON_SKIPPED_FILES

dohtml: Support PORTAGE_DOHTML_WARN_ON_SKIPPED_FILES environmental variable.

dohtml: Add .ico, .svg, .xhtml and .xml extensions to default list in EAPI="4-python".

Reformat documentation of EAPI="4-python".

dohtml.py: Sort default list of extensions.

protected_symlinks: suggest course of action

See discussion in bug #423127.

protected_symlinks: change eerror to elog

Since bug #421165, this code will trigger more often (see bug #423127),
and eerror is too harsh because the symlinks will never be orphaned.

PollScheduler: schedule inside loop if max_load

This will fix a case like that reported in bug #403895, triggered when
the --load-average option is used.

test_slot_abi: fix atom == type

Skip unmerge of libdir symlinks for bug #423127.

Fix debug message wording of "to due".

slot_abi_mask_built: fix __eq__ for backtracking

Slot conflict "abi" backtrack nodes non-terminal.

slot_abi_mask_built: don't discard other masks

Fix success_without_autounmask logic wrt rebuilds

depgraph: fix broken _complete_mode assignment