Rewrite of Prefix shebang check for bug #313731.

The shebang check was basically working too well, or just being overly
aggressive.  This caused files from e.g. gnuconfig, automake, autoconf,
libtool to install template files with prefixed bin/sh in them.  This
causes no problems for a user, but makes autotools useless for
distribution.

Hence the approach has now been changed to be less aggressive:
1) For each script that has a shebang starting with $EPREFIX, check if
   the target exists, or will exist after installation of the package.
   If this fails, die with an appropriate error message: the shebang was
   generated someway, and hence explicitly set that way to a
   non-existing target, which is wrong.
2) For scripts having a non-prefixed shebang, check if they reside in
   $PATH.  If they do, check if the shebang can be prefixed, and if so,
   prefix the shebang.  If the shebang doesn't exist in the offset, die
   with an appropriate error message: the script would otherwise rely on
   a host-provided tool which indicates a missing dependency (and will
   cause random problems because of a non-Prefix-aware host-tool being
   used).
3) Scripts that do not match 1) and 2), e.g. they don't have a shebang
   starting with $EPREFIX and do not reside in $PATH, we ignore invalid
   shebangs, unless FEATURES=stricter is set, in which case we warn.
   This allows packages like autoconf, automake, etc. to install without
   warning of their template files with /bin/sh as shebang.

Merge remote branch 'overlays-gentoo-org/master' into prefix

Make metadata.xml <flag/> errors non-fatal to repoman.

Previously, <flag/>-related errors in metadata.xml caused repoman
to abort the checks without even reporting the full path to broken
metadata.xml file. Now they are accounted as 'metadata.bad' errors.

Quote path for die snippet display.

Added missing quoting around the path passed to sed when displaying
ebuild snippet on die(). This should fix the issue where they weren't
displayed due to the occurence of special characters in the path.

Merge remote branch 'overlays-gentoo-org/master' into prefix

Conflicts:
bin/ebuild-helpers/doinfo

Pass in missing vartree parameter to doebuild(). Thanks to Arfrever for
reporting.

Automatically add PORTAGE_BIN_PATH to the front of PATH.

Source isolated-functions.sh for vecho definition. Thanks to Martin MOKREJŠ
<mmokrejs@fold.natur.cuni.cz> for reporting.

Bug #316311 - Prefer -i18n option of doman to filename language suffix
(EAPI 4). Thanks to Ulrich Müller <ulm@g.o> for this patch from bug #303919.

Merge remote branch 'overlays-gentoo-org/master' into prefix

Conflicts:
bin/misc-functions.sh

Fix typo in check for shared libraries lacking NEEDED entries.

Merge remote branch 'overlays-gentoo-org/master' into prefix

Conflicts:
bin/repoman
pym/portage/const.py
pym/portage/data.py

Keep PORTAGE_USERNAME and PORTAGE_GROUPNAME in, since in Prefix these
have been variable for a long time.

Remove unused imports.

Pass an ElementTree instance into parse_metadata_use() and
check_metadata_herds().

Port parse_metadata_use() code from minidom to ElementTree.

Avoid XMLParser.doctype deprecation warnings with >=python-2.7.

Use assertFalse insead of failIf since failIf is deprecated in python 3.2.

Make cpv_getversion handle invalid cpv and add cpv_getversion to __all__.

Implement REPLACING_VERSIONS and REPLACED_BY_VERSION

Fix deprecated config.getvirtuals() usage that's triggered by
gentoolkit-0.2.x.

Make spawning of `id -G portage` happen lazily when userpriv_groups is first
accessed.

Handle IOError when trying to cache the Packages file from the binhost.

When caching Packages file from binhost, ignore failure to write in cases
when the cache directory is not writable.

Use tbz2.unpackinfo() to unpack the xpak when running pkg_pretend, since we
need evironment.bz2 to get unpacked here.

In _run_pkg_pretend(), write ebuild bytes from tbz2.getfile() in binary mode
for python3 compatibility.

Eliminate redundant code in Scheduler._run_pkg_pretend() and remove unused
quiet_config variables.

Handle pkg_pretend output properly

Make ensure_dirs() behave correctly for DragonFly when EPERM is raised for
makedir('/'). Thanks to Naohiro Aota <naota@elisp.net> for the initial patch.

Cleanup $T earlier to prevent old messages from being displayed - bug 279041

Remove PORTAGE_USERNAME and PORTAGE_GROUPNAME support for now since antarus
says he wants it to work via make.conf, requiring redesign.

don't use names

Merge remote branch 'overlays-gentoo-org/master' into prefix

also check quoting on the Prefix variables added in EAPI=3, thanks jlec for the suggestion

Merge remote branch 'overlays-gentoo-org/master' into prefix

For clarity, make egencache --help and man page refer to --config-root
parameter as PORTAGE_CONFIGROOT. Thanks to Brian Harring.

Merge remote branch 'fews-portage-branch/pkg_pretend'

Implement emerge part of pkg_pretend

inject our Prefix bash in shebang, instead of /bin/bash

Merge remote branch 'overlays-gentoo-org/master' into prefix

Conflicts:
bin/quickpkg

copyright clashed with our @PORTAGE_PYTHON@ shebang

Add a test which calls bash -n on all scripts with bash shebang.

Handle missing $PORTDIR/metadata/herds.xml. Thanks to Arfrever for reporting.

Update copyright header.

Make RebuiltBinaries only select binary packages with non-empty BUILD_TIME.

Update copyright header.

Update copyright header.

Allow running pkg_info on non-installed packages

Merge remote branch 'overlays-gentoo-org/master' into prefix

Conflicts:
pym/_emerge/Package.py
pym/portage/dbapi/bintree.py

EPREFIX var caused trouble in the various lists that DEFINED_PHASES is
now added to too.

Add DEFINED_PHASES to the dbapi caches and _emerge.Package.metadata

Merge remote branch 'overlays-gentoo-org/master' into prefix

Move all imports to top.

Remove unused variables/imports and extra whitespace.

Add support for package sets to quickpkg

Split quickpkg_atom out of quickpkg_main to handle single atoms.
Create quickpkg_set to handle sets that calls quickpkg_atom.
Use a dict called 'infos' to return information about skipped config files, etc.
Move imports to global scope.
Update --help message and man page.

Add support for probing shebangs and compiling python scripts that don't
end with py.

Make sure portage.VERSION is saved in the mtimedb as type str rather than
ObjectProxy.

Ignore *.py[co]

Implement __unicode__ for python2.

If portage.VERSION == HEAD then use a proxy to lazily call git describe --tags
if it's accessed.

Merge branch 'master' into prefix

Add PORTAGE_USERNAME and PORTAGE_GROUPNAME to the environment whitelist and
filter them from the saved environment.

Process help and version actions asap. Thanks to Brian Harring.

svnlogmsg.awk script was removed, ignore .git and .hg directories

drop svnlogmsg.awk script, we lose the verbosity, maybe someday we revive it again, since we can see the trees coming together, it may be enough to track what was in

remove remaining $Id $ tags

Now we use the new PORTAGE_USERNAME and PORTAGE_GROUPNAME, let them be initialised by our Prefix portageuser and portagegroup

merged from master

Effectuate that trunk@15843 has been merged in prefix branch as prefix@15844

Use PORTAGE_USERNAME when populating userpriv_groups.

Implement PortageException.__unicode__ so the string formatin operator will
work correctly with unicode strings in python2.

Remove unsed check_KV() function. Thanks to Brian Harring.

Remove obsolete reference to nonexistent functions like newdepend in
save_ebuild_env. Thanks to Brian Harring.

Add back executable bits, accidentally removed in previous commit.

Remove all svn $Id keywords.

Don't use $Id or $Rev for version strings since that doesn't work with git.

Use git (repo in current working directory) instead of svn.

Add support for PORTAGE_USERNAME and PORTAGE_GROUPNAME environment
variables. Thanks to Alec Warner <antarus@g.o> for submitting the
initial PORTAGE_USERNAME patch from chromiumos-overlay.

Add check of herds in metadata.xml

Prepare further checks on metadata.xml

   Merged from trunk -r15842:15843

   | 15843    | install_qa_check: make sure init.d and conf.d files do not  |
   | SpankMan | have syntax errors in them #310805                          |

svn path=/main/branches/prefix/; revision=15844

install_qa_check: make sure init.d and conf.d files do not have syntax errors in them #310805

svn path=/main/trunk/; revision=15843

Activate AIX hooks again (got lost in the split), thanks haubi

svn path=/main/branches/prefix/; revision=15842

   Merged from trunk -r15835:15840

   | 15839   | Bug #309149 - Unify look of eend used in bash & python code, |
   | zmedico | additionally fixing few inconsistences in bash code. Thanks  |
   |         | to Michał Górny <gentoo@mgorny.alt.pl> for this patch.     |

   | 15840   | Show masking reasons for --binpkg-respect-use. Thanks to     |
   | zmedico | Sebastian Luther (few) for this patch.                       |

svn path=/main/branches/prefix/; revision=15841

Show masking reasons for --binpkg-respect-use. Thanks to Sebastian Luther
(few) for this patch.

svn path=/main/trunk/; revision=15840

Bug #309149 - Unify look of eend used in bash & python code, additionally
fixing few inconsistences in bash code. Thanks to Michał Górny
<gentoo@mgorny.alt.pl> for this patch.

svn path=/main/trunk/; revision=15839

make shebang check a bit more strict by not blindly believing all shebangs that start with EPREFIX

svn path=/main/branches/prefix/; revision=15838

   Merged from trunk -r15825:15835

   | 15826   | Update SIGPIPE comments to refer to "[Errno 32] Broken pipe" |
   | zmedico | exceptions since this is signal hander now set automatically |
   |         | for subprocesses after the fork in portage.process.spawn().  |

   | 15827   | Revert tar error handling changes from bug #309001 since we  |
   | zmedico | can't necessarily trust tar exist status alone (reverts      |
   |         | r15820 and r15821).                                          |

   | 15828   | Bug #299095 - Always use UTF-8 codec when opening ebuilds,   |
   | zmedico | to avoid UnicodeDecodeError with python3.                    |

   | 15829   | Add a TODO note about adding a registration interface for    |
   | zmedico | eclasses to register phase hooks, in order to migrate away   |
   |         | from global scope useq() calls.                              |

   | 15830   | Fix breakage from previous commit.                           |
   | zmedico |                                                              |

   | 15831   | Bug #309699 - Update --emptytree docs. Thanks to Ben Kohler  |
   | zmedico | <bkohler@gmail.com> for wording suggestions.                 |

   | 15832   | Bug #309907 - Fix update_config_files() to handle            |
   | zmedico | package.license.                                             |

   | 15833   | Bug #310135 - Skip the changelog.ebuildadded for all         |
   | zmedico | distributed SCMs.                                            |

   | 15834   | Note that use.local.desc is automatically generated, and     |
   | zmedico | refer to GLEP 56.                                            |

   | 15835   | Fix typo.                                                    |
   | zmedico |                                                              |

svn path=/main/branches/prefix/; revision=15837

   Merged from trunk -r15815:15825

   | 15820   | Bug #309001 - Only trust tar exit status (ignore             |
   | zmedico | decompressor exit status) when unpacking tar files.          |

   | 15821   | Trust tar exit status and ignore bzip2 exit status as in bug |
   | zmedico | #309001.                                                     |

   | 15822   | Simplyfy the virtual.exists check, and avoid deprecation     |
   | zmedico | warning triggered by cpv_getkey called on an empty string.   |

   | 15823   | Bug #309001 - Use signal(signal.SIGPIPE, signal.SIG_DFL) for |
   | zmedico | quiet killing of subprocesses by SIGPIPE (as emerge has for  |
   |         | a long time). Thanks to Harald van Dijk truedfx@g.o for this |
   |         | patch.                                                       |

   | 15824   | Add references to bug #309001 in comments about SIGPIPE      |
   | zmedico | handling.                                                    |

   | 15825   | Bug #309001 - Install a SIGPIPE handler inside _exec for all |
   | zmedico | forked processes.                                            |

svn path=/main/branches/prefix/; revision=15836

Fix typo.

svn path=/main/trunk/; revision=15835

Note that use.local.desc is automatically generated, and refer to GLEP 56.

svn path=/main/trunk/; revision=15834

Bug #310135 - Skip the changelog.ebuildadded for all distributed SCMs.

svn path=/main/trunk/; revision=15833

Bug #309907 - Fix update_config_files() to handle package.license.

svn path=/main/trunk/; revision=15832

Bug #309699 - Update --emptytree docs. Thanks to Ben Kohler <bkohler@gmail.com>
for wording suggestions.

svn path=/main/trunk/; revision=15831

Fix breakage from previous commit.

svn path=/main/trunk/; revision=15830

Add a TODO note about adding a registration interface for eclasses to register
phase hooks, in order to migrate away from global scope useq() calls.

svn path=/main/trunk/; revision=15829

Bug #299095 - Always use UTF-8 codec when opening ebuilds, to avoid
UnicodeDecodeError with python3.

svn path=/main/trunk/; revision=15828

Revert tar error handling changes from bug #309001 since we can't necessarily
trust tar exist status alone (reverts r15820 and r15821).

svn path=/main/trunk/; revision=15827

Update SIGPIPE comments to refer to "[Errno 32] Broken pipe" exceptions since
this is signal hander now set automatically for subprocesses after the fork
in portage.process.spawn().

svn path=/main/trunk/; revision=15826

Bug #309001 - Install a SIGPIPE handler inside _exec for all forked processes.

svn path=/main/trunk/; revision=15825

Add references to bug #309001 in comments about SIGPIPE handling.

svn path=/main/trunk/; revision=15824

Bug #309001 - Use signal(signal.SIGPIPE, signal.SIG_DFL) for quiet killing of
subprocesses by SIGPIPE (as emerge has for a long time). Thanks to Harald van
Dijk truedfx@g.o for this patch.

svn path=/main/trunk/; revision=15823

Simplyfy the virtual.exists check, and avoid deprecation warning triggered
by cpv_getkey called on an empty string.

svn path=/main/trunk/; revision=15822