Fix unicode vs. bytes issue in glsa-check (#341293)

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=01d40ffed91033119bae05dac5c9cea86b94aa2e

sync with genscripts rev 343. This adds the initial py3k support and the analyse utility to gentoolkit

svn path=/trunk/gentoolkit/; revision=751

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=2f90a4b9ceff920f793541376da21d313af083d9

Merge rev 113 from djanderson's genscripts repo

svn path=/trunk/gentoolkit/; revision=703

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=acdf616efa73b77936963eaa8b5c715db97646d2

getminupgrade: fix documentation and backtrace

Bug 281101: Fix a backtrace introduced in r647. in getminupgrade the
rValue variable was still leftover and was used in a check when
glsa-check was run in --emergelike mode and more than one upgrade atoms
existed.

Also, update the API documentation to reflect changes back then.

svn path=/trunk/gentoolkit/; revision=671

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=2419943820ac8fb90bdf9bb5d2064a6ccdfec804

Do not inject GLSAs into the checkfile when fixing them

There is no reason applied GLSAs must be stored in a checkfile. In the
current glsa-check GUI this will make it impossible to determine whether
the system is still affected by the GLSA (e.g. by re-emerging, or when a
GLSA is changed afterwards).

The current place for the checkfile (/var/cache) is not persistent per
FHS, meaning that people might clean out the contents of their injected
GLSAs. Since glsa.py is moving to portage anyway, we can use
/var/lib/portage as a place to store the injected GLSAs. Documentation
has been updated accordingly.

Note that the old checkfile should not be moved to the previous location
on upgrade since this will cause false negatives due to the above
arguments. A message should appear on upgrade (pkg_postinst or similar).

svn path=/trunk/gentoolkit/; revision=649

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=4138f5b1b6dbcf1042663a45b3eae1e652bfc9be

Restructure system affection detection.

Store "vulnerable" and "upgrade" packages in a table, and use that
data to determine which packages cannot be upgraded, and which
packages actually cause upgrades

svn path=/trunk/gentoolkit/; revision=648

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=b6a2a23926d54ccfa9a1ce331c1bc97dbe2c73d1

Change behaviour of getMinUpgrade

This allows to differentiate between situations where
the system is unaffected and unexistance of an upgrade path.

Previously, the glsa-check would treat GLSAs that had no
upgrade path (such as mask glsas) as not affecting the system.

svn path=/trunk/gentoolkit/; revision=647

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=ef38a394c5c2f5901173a53914705730850f9b3f

Some python tweaks to speed glsa-check

svn path=/trunk/gentoolkit/; revision=646

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=10e55d71bd5914fc7c9082adadf7bde2bec14ae3

Handle unicode encoding when dumping to stdout and start migration to using StringIO

svn path=/trunk/gentoolkit/; revision=645

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=88c18ffe936e602c45dcaa7500961623c49697ca

Add workaround for Python 2.6.4 issue 4978

Avoid "TypeError: keywords must be strings" issue triggered
by unicode_literals: http://bugs.python.org/issue4978

Use unicode_literals more.

This helps to ensure consistent results, regardless of whether we're
using Python 2 or Python 3.

test_string_format: use unicode_literals

localization: always return unicode

egencache: unicode_literals for TextIOWrapper

cache/flat_hash.py: unicode_literals

cache/sqlite.py: unicode_literals

ebuild_xattr.py: lowercase utf-8 comment

_setup_pipes: close unnecessary duplicate fds

Use 'with file' more.

This helps to minimize ResourceWarning triggered by ^C with python3.

ru/ebuild.1: update obsolete md5 references

emerge --info: show free ram/swap, bug #451048

portage(5): add more pointers to make.conf

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

emerge: add reference to the portage(5) man page when failing

For example, the current licensing error message looks like:

 The following license changes (package.license) are necessary to proceed:
 #required by quake3-bin (argument)
 >=games-fps/quake3-bin-1.32c-r1 GPL-2 Q3AEULA

If you don't know much about licensing issues, this error message
doesn't help.  Instead, give references to the man page so people
can easily delve further.  Now it looks like:

 The following license changes are necessary to proceed:
  (see package.license in the portage(5) man page for more details)
 #required by quake3-bin (argument)
 >=games-fps/quake3-bin-1.32c-r1 GPL-2 Q3AEULA

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

make.conf.5: document @preserved-rebuild

doebuild: tweak handling of _unused param

EbuildMetadataPhase: use dynamic pipe fd

Also, remove deprecated code from doebuild (with hardcoded pipe fd).

SpawnProcess: improve dummy pipe allocation logic

By using allocated file descriptors for keys in fd_pipes, we naturally
avoid interference with callers such as FileDigester and MergeProcess.
See the _setup_pipes docstring for more benefits of this allocation
approach.

Warn if old make.globals found, bug #452176

Warn if 2 make.profile dirs found, bug #452176

test-fail-continue: mark complete, bug #452030

SpawnProcess: avoid fd_pipes interference

This fixes a random collision that can occur with FileDigester,
triggering malfunction and a KeyError.

ebuild.1: update obsolete md5 references

Respect LINGUAS in 'make install'.

Makefile: install man/ru/*

ebuild.1: add Russian translation, bug #450372

selinux: python3 unicode paths, bug #430488

Tweak init.d qa check for bug #451386.

make.conf.5: tweak escape format for apostrophy

DoebuildSpawnTestCase: also call spawn_nofetch

spawn_nofetch: import portage, bug #451344

Revert "_ctypes: don't cache library, bug #448858"

This reverts commit 9e37cca4f54260bd8c45a3041fcee00938c71649.
As noted in bug #448858, comment #14, dlclose is not called
automatically, so we may as well cache our library handles.
In order to protect ourselves, we use a fork since commit
7ebb2f54877edb28621c33e380f8777b1b1dc201.

Use EventLoop, no SchedulerInterface if possible.

emerge/test_simple.py: override PATH more

Override things that may be unavailable, or may have portability
issues when running tests in exotic environments.

SpawnProcess: handle fcntl ENOTTY for FreeBSD

_emirrordist/main.py: remove extra Config import

FetchTask: use umask for copied files

FetchTask: avoid possible duplicate URI

FetchTask: randomize thirdpartymirrors

FetchTask: log_failure for distfiles digester

FetchIterator: support PORTAGE_CHECKSUM_FILTER

make.conf.5: escape apostropy quote, bug #451118

FetchIterator: use RepoConfig.load_manifest()

_fetch_digester_exit: fix NoneType AttributeError

Makefile: install emirrordist

Add emirrordist, a tool for mirroring distfiles.

Special thanks to Brian Harring, author of the mirror-dist program from
which emirrordist is derived.

Manifest: make distdir argument optional

autounmask: tweak --autounmask-write suggestion

autounmask: show file names for suggested changes

Also, advise the user to examine the proposed config changes carefully.

X-Gentoo-Bug: 450960
X-Gentoo-Bug-URL: https://bugs.gentoo.org/show_bug.cgi?id=450960

SpawnProcess: stdout_fd FD_CLOEXEC

ManifestTask: use PipeLogger for monitoring

Declare regex literal as such.

parseManifest2: handle space in name, bug 450736

PipeLogger: handle file object for input_fd

If 2 make.conf files found, then warn.

This may give a clue to those who unintentionally end up with 2
make.conf files somehow.

MetadataRegen: simplify _iter_every_cp

MetadataRegen: call cp_all for each category

List categories individually, in order to start yielding quicker,
and in order to reduce latency in case of a signal interrupt.

portdbapi.cp_all(): add reverse sort parameter

_keep_scheduling: check _terminated.is_set()

This ensures that scheduling loops terminate as soon as possible after
an interrupt is received.

ManifestScheduler: fix signal interrupt handling

MetadataRegen: portdbapi.cp_all() already sorted

MetadataRegen: fix signal interrupt handling

We have to force it out of the scheduling loop before
_termination_check can have an effect.

Handle os.write() return code with loop.

BinpkgVerifier: use async FileDigester

Add async FileDigester class.

.gitignore: __pycache__/

Add QA_AM_MAINTAINER_MODE for bug #450278.

SchedulerInterface: use loop for proxied attrs

runtests.sh summary: add minimum column width

ebuild-ipc: add FifoWriter class

ebuild-ipc: fix read timeout msg / daemon check

It got disabled in commit 06d31ef00da24352a6614f20bccfc892d2120ed9.

ebuild-ipc: fix waiting message

It got disabled by commit 439151bb5b0bd2ac4c9d2dd218fe377ce0b988e6.

ebuild-ipc: use PipeReader in _receive_reply

ebuild-ipc: use PipeReader in _wait

PipeReader: support plain fd without file obj

test_paren_reduce: disable deprecation warning

Enable FD_CLOEXEC for lock fd.

Enable FD_CLOEXEC for non-blocking pipes.

EventLoop: enable FD_CLOEXEC on epoll fd

portage._internal_caller: use global_event_loop

It's more efficient to use global_event_loop than a local EventLoop
instance, so do that when we know it's safe.

SpawnProcess: support close_fds

_doebuild_spawn: disable close_fds for "depend"

spawn: add close_fds parameter

runTests: portage._internal_caller = True

Add portage._internal_caller var, and use it.

portdbapi: use global_event_loop when safe

emerge --depclean: show atoms in verbose output

resume_depgraph: check for alternative installed

When pruning packages from the merge list, only prune them if the
relevant dependency is not satisfied by an alternative package which
is already installed. This should fix bug #448176, and now there's also
reasons logged for why a particular package is dropped.

depgraph: dynamic deps parallel metadata regen

FakeVartree: split _apply_dynamic_deps method

This will eventually be used for parallelization of aux_get/regen
processes.

repoman: improve thirdpartymirrors output