portage(5): improve layout.conf documentation

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

Add chown workaround for python in Fedora 18.

Compatibility workaround for Python 2.7.3 in Fedora 18, which throws
"TypeError: group id must be integer" if we try to pass an ObjectProxy
instance into chown.

repoman: remove obsolete RMD160 requirement

Add man/ru/{env-update,etc-update,fixpackages}.1

Tweak die message for fail-clean, bug #454050.

Suppress portage group warning for bug #454060.

Handle getpwuid KeyError for bug #454060.

config: raise PermissionDenied more

This enables clear reporting of "Permission Denied" when appropriate,
instead of triggering nonsensical messages about invalid profiles or
repositories.

RepoConfigLoader: raise PermissionDenied more

RepoConfigLoader: raise PermissionDenied

_new_backup_path: fix TypeError, bug #453892

Package._init_use: always sync _metadata

Add debug output for cases like bug #453400.

Package: avoid redundant splitting of USE

Package: filter built USE for bug #453400

The enabled flags must be consistent with implicit IUSE, in order to
avoid potential inconsistencies in USE dep matching (see bug #453400).

Fix default use match for implicit IUSE.

This will fix bug #453400, which was triggered by inconsistency
between the enabled USE and the effective missing_disabled set used
in matching logic, due to implicit IUSE.

make.conf: example for ACCEPT_LICENSE

make.conf.5: better examples for ACCEPT_LICENSE

make.conf.example: remove obsolete warning

repoman: fix TypeError: must be char, not unicode

repoman: fix stable mask to use correct profile

We can't rely on the internal config instance from the given package
instance, since it does not refer to the correct profile.

isStable: fix * logic for repoman

isStable: handle * for repoman more

isStable: handle * for repoman

tests/repoman: add dev and exp profiles

Fix stable mask logic for repoman.

For repoman, if the package has an effective stable keyword that
intersects with the effective ACCEPT_KEYWORDS for the current
profile, then consider it stable.

FindVCS: add debug info

test_security_set: detect missing xml support

glsa-check: explicit imports, fix glsaconfig ref

Enable glsa @security set for stable, and test.

glsa.py: fix misc breakage

Fix unicode vs. bytes issue in glsa-check (#341293)

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=01d40ffed91033119bae05dac5c9cea86b94aa2e

sync with genscripts rev 343. This adds the initial py3k support and the analyse utility to gentoolkit

svn path=/trunk/gentoolkit/; revision=751

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=2f90a4b9ceff920f793541376da21d313af083d9

Merge rev 113 from djanderson's genscripts repo

svn path=/trunk/gentoolkit/; revision=703

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=acdf616efa73b77936963eaa8b5c715db97646d2

getminupgrade: fix documentation and backtrace

Bug 281101: Fix a backtrace introduced in r647. in getminupgrade the
rValue variable was still leftover and was used in a check when
glsa-check was run in --emergelike mode and more than one upgrade atoms
existed.

Also, update the API documentation to reflect changes back then.

svn path=/trunk/gentoolkit/; revision=671

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=2419943820ac8fb90bdf9bb5d2064a6ccdfec804

Do not inject GLSAs into the checkfile when fixing them

There is no reason applied GLSAs must be stored in a checkfile. In the
current glsa-check GUI this will make it impossible to determine whether
the system is still affected by the GLSA (e.g. by re-emerging, or when a
GLSA is changed afterwards).

The current place for the checkfile (/var/cache) is not persistent per
FHS, meaning that people might clean out the contents of their injected
GLSAs. Since glsa.py is moving to portage anyway, we can use
/var/lib/portage as a place to store the injected GLSAs. Documentation
has been updated accordingly.

Note that the old checkfile should not be moved to the previous location
on upgrade since this will cause false negatives due to the above
arguments. A message should appear on upgrade (pkg_postinst or similar).

svn path=/trunk/gentoolkit/; revision=649

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=4138f5b1b6dbcf1042663a45b3eae1e652bfc9be

Restructure system affection detection.

Store "vulnerable" and "upgrade" packages in a table, and use that
data to determine which packages cannot be upgraded, and which
packages actually cause upgrades

svn path=/trunk/gentoolkit/; revision=648

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=b6a2a23926d54ccfa9a1ce331c1bc97dbe2c73d1

Change behaviour of getMinUpgrade

This allows to differentiate between situations where
the system is unaffected and unexistance of an upgrade path.

Previously, the glsa-check would treat GLSAs that had no
upgrade path (such as mask glsas) as not affecting the system.

svn path=/trunk/gentoolkit/; revision=647

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=ef38a394c5c2f5901173a53914705730850f9b3f

Some python tweaks to speed glsa-check

svn path=/trunk/gentoolkit/; revision=646

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=10e55d71bd5914fc7c9082adadf7bde2bec14ae3

Handle unicode encoding when dumping to stdout and start migration to using StringIO

svn path=/trunk/gentoolkit/; revision=645

http://git.overlays.gentoo.org/gitweb/?p=proj/gentoolkit.git;a=commit;h=88c18ffe936e602c45dcaa7500961623c49697ca

Add workaround for Python 2.6.4 issue 4978

Avoid "TypeError: keywords must be strings" issue triggered
by unicode_literals: http://bugs.python.org/issue4978

Use unicode_literals more.

This helps to ensure consistent results, regardless of whether we're
using Python 2 or Python 3.

test_string_format: use unicode_literals

localization: always return unicode

egencache: unicode_literals for TextIOWrapper

cache/flat_hash.py: unicode_literals

cache/sqlite.py: unicode_literals

ebuild_xattr.py: lowercase utf-8 comment

_setup_pipes: close unnecessary duplicate fds

Use 'with file' more.

This helps to minimize ResourceWarning triggered by ^C with python3.

ru/ebuild.1: update obsolete md5 references

emerge --info: show free ram/swap, bug #451048

portage(5): add more pointers to make.conf

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

emerge: add reference to the portage(5) man page when failing

For example, the current licensing error message looks like:

 The following license changes (package.license) are necessary to proceed:
 #required by quake3-bin (argument)
 >=games-fps/quake3-bin-1.32c-r1 GPL-2 Q3AEULA

If you don't know much about licensing issues, this error message
doesn't help.  Instead, give references to the man page so people
can easily delve further.  Now it looks like:

 The following license changes are necessary to proceed:
  (see package.license in the portage(5) man page for more details)
 #required by quake3-bin (argument)
 >=games-fps/quake3-bin-1.32c-r1 GPL-2 Q3AEULA

Signed-off-by: Mike Frysinger <vapier@gentoo.org>

make.conf.5: document @preserved-rebuild

doebuild: tweak handling of _unused param

EbuildMetadataPhase: use dynamic pipe fd

Also, remove deprecated code from doebuild (with hardcoded pipe fd).

SpawnProcess: improve dummy pipe allocation logic

By using allocated file descriptors for keys in fd_pipes, we naturally
avoid interference with callers such as FileDigester and MergeProcess.
See the _setup_pipes docstring for more benefits of this allocation
approach.

Warn if old make.globals found, bug #452176

Warn if 2 make.profile dirs found, bug #452176

test-fail-continue: mark complete, bug #452030

SpawnProcess: avoid fd_pipes interference

This fixes a random collision that can occur with FileDigester,
triggering malfunction and a KeyError.

ebuild.1: update obsolete md5 references

Respect LINGUAS in 'make install'.

Makefile: install man/ru/*

ebuild.1: add Russian translation, bug #450372

selinux: python3 unicode paths, bug #430488

Tweak init.d qa check for bug #451386.

make.conf.5: tweak escape format for apostrophy

DoebuildSpawnTestCase: also call spawn_nofetch

spawn_nofetch: import portage, bug #451344

Revert "_ctypes: don't cache library, bug #448858"

This reverts commit 9e37cca4f54260bd8c45a3041fcee00938c71649.
As noted in bug #448858, comment #14, dlclose is not called
automatically, so we may as well cache our library handles.
In order to protect ourselves, we use a fork since commit
7ebb2f54877edb28621c33e380f8777b1b1dc201.

Use EventLoop, no SchedulerInterface if possible.

emerge/test_simple.py: override PATH more

Override things that may be unavailable, or may have portability
issues when running tests in exotic environments.

SpawnProcess: handle fcntl ENOTTY for FreeBSD

_emirrordist/main.py: remove extra Config import

FetchTask: use umask for copied files

FetchTask: avoid possible duplicate URI

FetchTask: randomize thirdpartymirrors

FetchTask: log_failure for distfiles digester

FetchIterator: support PORTAGE_CHECKSUM_FILTER

make.conf.5: escape apostropy quote, bug #451118

FetchIterator: use RepoConfig.load_manifest()

_fetch_digester_exit: fix NoneType AttributeError

Makefile: install emirrordist

Add emirrordist, a tool for mirroring distfiles.

Special thanks to Brian Harring, author of the mirror-dist program from
which emirrordist is derived.

Manifest: make distdir argument optional

autounmask: tweak --autounmask-write suggestion

autounmask: show file names for suggested changes

Also, advise the user to examine the proposed config changes carefully.

X-Gentoo-Bug: 450960
X-Gentoo-Bug-URL: https://bugs.gentoo.org/show_bug.cgi?id=450960

SpawnProcess: stdout_fd FD_CLOEXEC

ManifestTask: use PipeLogger for monitoring

Declare regex literal as such.

parseManifest2: handle space in name, bug 450736

PipeLogger: handle file object for input_fd

If 2 make.conf files found, then warn.

This may give a clue to those who unintentionally end up with 2
make.conf files somehow.

MetadataRegen: simplify _iter_every_cp

MetadataRegen: call cp_all for each category

List categories individually, in order to start yielding quicker,
and in order to reduce latency in case of a signal interrupt.

portdbapi.cp_all(): add reverse sort parameter

_keep_scheduling: check _terminated.is_set()

This ensures that scheduling loops terminate as soon as possible after
an interrupt is received.

ManifestScheduler: fix signal interrupt handling