dispatch_conf: don't pass bytes for Popen cmd

This will fix bug #410417.

varexpand: optimize access to current char

getconfig: show error message for varexpand fail

varexpand: use frozenset for word characters

varexpand: use list for efficient append

dispatch_conf: emulate getstatusoutput with Popen

This will fix bug #410315.

portage.5: note more bashrc caveats, bug #409627

fowners: return success for prefix if EUID != 0

This is based on a patch by Jeremy Olexa from bug #409893.

dosym: add $EPREFIX to absolute target

xpak: clean up style

A few spaces here and there go a long way to making this readable.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

varexpand: don't cache results

Caching wasn't really necessary here, and it didn't properly account
for input differences in the 'mydict' parameter.

locks.py: fix _close_fds docstring

LockNonblockTestCase: close_fds tweak

Make consistent with commit 144c23efbb4e9565debad03c13c5bcab833a8336.

emerge: suggest dispatch-conf for bug #398843

Close fewer file descriptors for fork / no exec.

This will fix bug #374335.

etc-update: handle emacs diff cmd, bug #409849

etc-update: remove duplicate using_editor

movefile: use writemsg for unicode safety

Replace @returns with @return.

grabdict: remove incorrect docstring, bug #409839

Localize config update messages, bug #409835.

emerge-webrsync: use portageq from same prefix

unmerge: fix return code for bug #409647

Exit status 128 + SIGINT for --ask 'no' answer.

This will fix bug #409647.

emerge --sync: use yellow for portage update msg

movefile: import print_function

This fixes printing of tuples under python-2.x, as shown in
bug #402323.

movefile: clarify message for xattr copy error

This will fix bug #402323.

movefile: refactor selinux conditional code

Clarify symlink/dir collision for bug #409359.

repoman: disable dependency.unknown for blockers

This will fix bug #382407.

mtimedb: fix hexversion for python issue 5729

mtimedb: enable JSON write support

JSON read support has been available since portage-2.1.10.49.

emerge --changelog: show some log entries above

This will fix bug #373009.

emerge --changelog: fix split ChangeLog bugs

This should fix possible missing content when displaying split
ChangeLogs (bug #389611), and also normalizes blank lines.

PreservedLibsRegistry: try to parse as JSON first

PreservedLibsRegistry: enable JSON write support

JSON read support has been available since portage-2.2.0_alpha89.

getmaskingreason: use remember_source_file

This will fix bug #409179.

Bug #361759: QA check for /etc/udev/rules.d

Map emerge --buildpkg=n to FEATURES=-buildpkg.

This will fix bug #409085.

doebuild_environment: comment on bug #408817

spawn_nofetch: clone locked config, bug #408817

It's unsafe to pass in an unlocked config instance, since that can
trigger issues like bug #408817 due to fragile assumptions involving
the config state inside doebuild_environment().

Revert "depgraph: reset pkgsettings after setcpv"

This reverts commit 884993c7f4b9e7e9ede690f5fab81742915fc942.
Calling reset is expensive and is not really needed since commit
3ca5f0cc08d233a3e229e78b573c7aab7d46cb9c.

doebuild_environment: sanity check for bug 408817

Ensure that CATEGORY is determined correctly, and raise AssertionError
if it can't be determined.

depgraph: reset pkgsettings after setcpv

This should prevent doebuild_environment from incorrectly using the
CATEGORY from the previous setcpv call, as reported in bug #408817.

unmerge: remove unused preserve-libs

This fixes a case were one or more packages are unmerged without being
replaced, and some preserved libraries need to be removed because
they all consumers have just been unmerged.

dispatch_conf: fix broken diffstatusoutput_len

etc-update: quote ${file}

etc-update: ignore non-existent CONFIG_PROTECT

Omit EPREFIX from paths in unicode QA Notice.

Use eqawarn for install of non UTF-8 file names.

This will fix bug #406749.

repoman: add --digest=<y|n> option, bug #406875

repoman: ignore temp files, bug #406877

If the file isn't in the VCS new or changed set, then assume that
it's an irrelevant temporary file. This relies on commit
2dac56fa282645031eb29860abc403e983a04b2d to guarantee that Manifest
entries are not generated for file names containing prohibited
characters.

Manifest: filter file names with repoman's regex

This makes Manifest generation consistent with repoman, which is
necessary if repoman is going to ignore irrelevant files as requested
in bug #406877.

Add a Makefile derived from the portage ebuild.

This will fix bug #335320.

Display: spawn pkg_nofetch when appropriate

Signed-off-by: Zac Medico <zmedico@gentoo.org>

QA: detect pkg-config files that bleed LDFLAGS

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

etc-update: ignore changes in whitespace (-b) for automerge

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

portageq: add "colormap" helper

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

etc-update: fix logic bug with protected files

The rewrite introduced a slight bug with protected files.  Fix that,
and rework the code slightly to make it obvious that we want a diff
set of options for files and dirs.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

etc-update: handle symlinked files

If the config file is symlinked somewhere, then update the target rather
then discarding the symlink and replacing it with a real file.

URL: http://bugs.gentoo.org/330221
Reported-by: Jack Byer <ftn768@gmail.com>
Signed-off-by: Mike Frysinger <vapier@gentoo.org>

etc-update: fix default "enter" behavior

Adding support for -[3579] command line flags inadvertently broke the
default behavior of hitting "enter" to automatically select the next
file.  Make this work again.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

etc-update: add a --preen flag

Add a flag to merge just trivial updates and then quit.

URL: http://bugs.gentoo.org/159080
Reported-by: Iván Pérez Domínguez <iperez@babel.ls.fi.upm.es>
Signed-off-by: Mike Frysinger <vapier@gentoo.org>

etc-update: support scan paths on the command line

URL: http://bugs.gentoo.org/59235
Reported-by: Cory Visi <merlin@gentoo.org>
Signed-off-by: Mike Frysinger <vapier@gentoo.org>

dispatch-conf: do regex matching ourselves

This avoids having to pipe through multiple greps, as well as running
diff multiple times on the same set of files.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

ebuild.sh: skip EBUILD_HOOK_DIR for depend phase

install-info: avoid unnecessary shell

Exit after killed while waiting on prefetch.

Use Popen to avoid unnecessary shell.

Disable 'illegally inherited' check for nofetch.

It's disabled for nofetch, since that can be called by repoman and
that triggers bug #407449 due to repoman not exporting non-essential
variables such as INHERITED.

dispatch-conf: add --help/--version flags

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

etc-update(1): flesh out a bit more

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

etc-update: turn -[3579] flags into command line option

This lets people do `etc-update --automode -3` rather than having
to do something like `echo "-3" | etc-update`.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

etc-update: rewrite significantly

This tool is very inefficient, especially in the case of auto-merging
with -3/-5 and such.  Rewrite the code to kill off dead paths, compress
multiple greps into a single sed, cache more calculated results, and
use bash code where possible rather than execing external tools.  There
are also style updates here, many of which fix quoting issues and other
such things.

The next rewrite should probably be in python, but this version is
fast enough for me now even on my slow machines.

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

whirlpool.py: fix WhirlpoolAdd for bug #406407

This file is a python port of Whirlpool.c the reference implementation:

  http://www.larc.usp.br/~pbarreto/whirlpool.zip

Comparison of both implementations reveals a difference in loop logic
at the very beginning of the WhirlpoolAdd function, which is fixed now.

pruneNonExisting: handle eselect-opengl symlinks

Only count symlinks as preserved if they still point to a hardink
in the same directory, in order to handle cases where a tool such
as eselect-opengl has updated the symlink to point to a hardlink
in a different directory (see bug #406837). The unused hardlink is
automatically found by _find_unused_preserved_libs, since the soname
symlink no longer points to it. After the hardlink is removed by
_remove_preserved_libs, it calls pruneNonExisting which eliminates
the irrelevant symlink from the registry here.

repoman: say Git >=1.7.9 needed for signed commit

repoman: support overlays without repo_name

action_build: return 1 for "no" --ask answer

cvstree.getentries: handle "ignored" files in cvs

It's possible for files to be under version control even though they
match our ignore filter, so don't ignore them if they are listed in the
"Entries" file. Thanks to Mike Gilbert <floppym@gentoo.org> for
reporting in this blog post:

http://floppym.blogspot.com/2012/02/cvs-status-display-cvs-checkout-in-svn.html

autounmask: Avoid unmasking live versions if possible

Before this patch the allowed changes were:

1. USE
2. USE + ~arch + license
3. USE + ~arch + license + missing keywords + masks

With this patch:

1. USE
2. USE + ~arch + license
3. USE + ~arch + license + missing keywords
4. USE + ~arch + license + masks
5. USE + ~arch + license + missing keywords + masks

This avoids unmasking live versions, which are typically masked
and have missing keywords to be avoided if there is a regular
masked version available.

Reorganize how autounmask allows changes to be made

This patch does not change emerge's behaviour.

autounmask: Fix USE change messages to display the correct parent

Fixes bug 399863.

Unmerge orphan directory symlinks for bug 384397.

dblink: split out _unmerge_dirs method

This code will need to be called twice when safely unmerging symlinks
to directories (bug #384397).

ecompressdir: handle abs symlink, bug #405327

Scheduler: hang in _schedule_tasks, bug 404995

This is triggered whenever emerge bails out while parallel-fetch is
running in the background.

_eventloop: use explicit relative imports

MtimeDB: add JSON read/write

Support serialization as JSON instead of pickle, so that
/var/cache/edb/mtimedb is human readable/writable, for those rare
cases where it may be useful. Currently, pickle is still used for
writes. The plan is to migrate to JSON after JSON read has been
supported for some time.

MtimeDB._load: explicitly close file

PreservedLibsRegistry: add JSON read/write

Support serialization as JSON instead of pickle, so that
/var/lib/portage/preserved_libs_registry is human readable/writable,
for those rare cases where it may be useful. Currently, pickle is still
used for writes. The plan is to migrate to JSON after JSON read has
been supported for some time.

repoman: make virtual.oldstyle an error

Also, add "allow-provide-virtuals = true" setting for
metadata/layout.conf which reduces it to a warning.

portage.5: layout.conf manifest-hashes example

PollSelectAdapter: don't inherit PollConstants

Move Poll{Constants,SelectAdapter} to _eventloop.

Move _emerge.SlotObject to portage.util.

SlotObject: validate __slots__ and keyword args

Remove redundant inherited __slots__ values.

EventLoop: fix _io_handler_class "f" attribute

portage.package.ebuild.fetch.fetch(): Fix ResourceWarning with Python 3.2.

EventLoop.iteration: run timeouts last

Run timeouts last, in order to minimize latency in termination of
iteration loops that they may control.