Bug #388615 - optimize FEATURES=prelink-checksums

Only spawn prelink if the file has an ELF header.

UpdateChangeLog: sort files

layout.conf: rename cache_format to cache_formats

We read layout.conf cache-formats from left to right and use the first
supported type that's found. This will allow support for multiple
formats in parallel, providing for smooth transitions between formats.

add profile-formats portage-1 awareness and enforcement

Currently it just spits warnings for implicit portage-1 format usage;
down the line, this will be converted into an explicit error.

For repo's that configure themselves as portage-1 or pms explicitly, enforce
it.

layout.conf: add profile-format awareness

Note the portage-1-compat mode; this isn't settable externally, is
purely an internal mode for tracking if a repository is in portage-1
compat mode, rather than explicit portage-1 mode.

This compat mode will be removed once portage becomes strict.

Track profile format, and if compatibility mode is in use.

Warn if the profile is using portage-1 format, but isn't marked as such.

split out layout.conf parsing so it's usable elsewhere

runtests.sh: fix arguments pass-through

test_config: test PORTDIR default masters

expand_new_virt: fix vardbapi.root reference

Use EROOT instead of ROOT for keys everywhere.

It makes more sense to use EROOT instead of ROOT for keys in mappings
like portage.db, since it allows for multiple prefixes to exist
simultaneously within the same map without having a key collision.
This affects all portageq commands which take a <root> parameter, since
that parameter now corresponds to EROOT instead of ROOT. None of this
makes any difference for non-prefix users, since EROOT and ROOT are
identical when EPREFIX is empty.

create_trees: save target_root for later use

ResolverPlayground: use create_trees

runtests.sh: add --python-versions option

tests/emerge: test pkg_config and pkg_info

Remove unused root parameters from doebuild calls

tests/emerge: test file owner lookup

doebuid: deprecate redundant "root" parameter

deprecate "root" attributes

In preparation for prefix support, were EROOT will be used in place of
ROOT in many places, deprecate unnecessary "root" attributes in order
to eliminate them as a possible source of confusion.

test_global_updates: test move with operator

test_global_updates: add missing Atom constructor

test bug #388187

man/repoman.1: reference changelog/layout.conf

Skip global updates prior to sync (called after).

parse_updates: filter invalid for bug #388187

man/portage.5: layout.conf update-changelog

UpdateChangeLog: tweak clold_lines logic

There are two cases here that have to be mutually exclusive.

update_copyright: make pretend a keyword arg

_update_copyright_year: optimize no-match case

update_copyright: process files as raw bytes

This function will work correctly with files encoded in any character
set, as long as the copyright statements consist of plain ASCII.

UpdateChangeLog: split out/test copyright regex

This also fixes a case where something like "Copyright 2011 " would be
replaced with "Copyright 2011-2011 ".

UpdateChangeLog: tweak new/changed coded

UpdateChangeLog: split out get_committer_name()

misc-functions.sh: condense world-writable output

UpdateChangeLog: handle edge cases

This should handle all kinds of variance in the input ChangeLog and
skel.ChangeLog.

UpdateChangeLog: don't hardcode 1999 copyright

We want repoman to be applicable to as many repositories as possible.
If necessary, we can add another layout.conf attribute that configures
the copyright start years for all files.

update_copyright: remove stray semicolon

update_copyright: don't hardcode 1999 start year

We want repoman to be applicable to as many repositories as possible.
If necessary, we can add another layout.conf attribute that configures
the copyright start years for all files.

tests/repoman: add skel.ChangeLog

Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

UpdateChangeLog: fix whitespace

repoman: update copyright on modified files

To retain the behaviour of echangelog, update the copyrights on modified
files (mostly ebuilds) when necessary.  Also update the ChangeLog's
copyright.

repoman: get ChangeLog header from skel.ChangeLog

Use skel.ChangeLog from the repo to create the header of a new ChangeLog
file.  Else, we just retain the original header of the ChangeLog.  When
no skel.ChangeLog file exists, and this is a new ChangeLog, no header is
used.

tests/repoman: use layout.conf update-changelog

UpdateChangeLog: time in UTC

repoman: get default to update changelog from layout.conf

Updating the ChangeLog file may be desirable in more repos than just the
one named 'gentoo', like e.g. the Prefix one.  Hence, make this default
configurable though metadata/layout.conf.

This commit must go accompanied by a commit to
gentoo-x86/metadata/layout.conf that adds the following bit:

# Bug #337853 - gentoo's council says to enable
# --echangelog by default for the "gentoo" repo
update-changelog = true

depgraph: fix installed masked warning

This warning has been broken since commit
5f65c2294df592a6a4e0f0fff0bedec49ed3491a.

misc-functions.sh: move sleep out of loop

Having sleep in the world-writable loop causes riduculous delays for
prefix users with exotic filesystem constraints (like a FAT filesystem
mounted with umask=000).

resolver/output: use set for myfetchlist hashing

resolver/output: display binary fetch size

Add bindbapi.getfetchsizes() like pordbapi has.

/etc/portage/modules: warn about metadata_overlay

This module is an alias for flat_hash now, and hasn't been useful
since FEATURES=metadata-transfer was disabled by default in commit
81db3e467cd7f8bb94fcdf96d5fb4acf27bf382b.

load_best_module: tweak metadata_overlay fallback

python3.2 fixes: "ResourceWarning: unclosed file"

python3.2 fixes: "ResourceWarning: unclosed file"

tests/repoman: fix 'unknown revision' git msgs

Fix serialize_eclasses = False in cache template.

This fixes volatile cache validation that did not get fixed in commit
a63c163a50bf8a4e5ca8673cd8bebae29c36643a. Now all volatile cache
problems that have been introduced since commit
2ed1cb53cc4158af08c22d466b15b9a9a7767212 should be fixed.

portdbapi: fix volatile cache handling

The metadata_overlay usage, that was triggered automatically for users
without depcachedir write access, has been broken since commit
2ed1cb53cc4158af08c22d466b15b9a9a7767212. The metadata_overlay class
is not compatible with the new validation code, so remove it. If users
have metadata_overlay configured as their cache module, fall back to
flat_hash.

eclass_cache: fix volatile cache DigestException

The deepcopy in catch/volatile.py misbehaved when it tried to copy
attributes like __DEEPCOPY__ that didn't correspond to known functions.

UpdateChangeLog: use struct_passwd attributes

tests/repoman: fix manifests before adding to git

portdbapi.aux_get: remove redunant EAPI code

This code only needs to exist in _metadata_callback.

repoman: support --echangelog=force

Allows forced ChangeLog generation even when the vcs has detected that
the ChangeLog has already been modified.

UpdateChangeLog: show trivial if nothing else

Like echangelog does, show ChangeLog or Manifest if there are no other
changes to display.

perform_checksum: OSerror to PermissionDenied

hashed_path: convert OSError to PermissionDenied

man/repoman.1: update date in header

repoman: handle subprocess bug with Python 3.1

tests/repoman: test commit with git

These tests only run if the git binary is found. They include testing
of new --echangelog=y option.

tests/emerge: test --regen and --metadata

UpdateChangeLog: update copyright year in header

This feature got dropped on commit
b655137b7b5f87c11a7e742b7ef0e028a1139677.

repoman: simplify autoadd code

UpdateChangeLog: optimize and add unicode support

Also:
* copy the old header from the old ChangeLog if it exists, in case it
  contains a non-gentoo header
* don't add a header if the old ChangeLog exists and doesn't contain
  a header

repoman: implemented echangelog functionality

Instead of calling echangelog, which on its turn has to query the VCS
again, use the existing information on changes made to the current
directory, and update the ChangeLog from Python itself.
This avoids a call to echangelog, and avoids again retrieving the same
VCS information as repoman already did.  It makes repoman independent
from external tools it didn't install itself, and should be faster in
general.

hashed_path: convert stat OSError to FileNotFound

This makes it consistent with perform_checksum call which also raises
FileNotFound instead of OSError.

EbuildMetadataPhase: avoid redundant EAPI parsing

man/emerge.1: update date in header

Add --binpkg-exclude option

This options disables creation of binary packages, no matter
what enabled it in the first place. See bug 386903.

Fix a typo in a comment.

RepoConfig: sort __slots__

_pull_valid_cache: pass unicode to hashed_path

This removes a conversion to bytes that should have been removed in
commit 2ed1cb53cc4158af08c22d466b15b9a9a7767212. The hashed_path
location attribute should always be unicode, for consistency will path
handling throughout portage. The hashed_path class internally uses the
portage portage.os wrapper to ensure that paths are encoded as utf_8
bytes when they are passed to the real os module for stat calls.

MetadataRegen: remove unused import

egencache: remove unused import

EbuildMetadataPhase: tweak metadata_callback usage

For parse-eapi-ebuild-head, we want to assign self.metadata from the
return value, for conformity with usage elsewhere.

egencache: add _mtime_ to metadata

This fixes a regression in FEATURES=parse-eapi-ebuild-head support
for egencache since commit 2ed1cb53cc4158af08c22d466b15b9a9a7767212.
If the metadata does not contain _mtime_ here, then _setitem from
cache.metadata.database will raise KeyError.

EbuildMetadataPhase: fix parse-eapi-ebuild-head

This fixes bugs that can only be triggered by egencache since
other callers handle parse-eapi-ebuild-head earlier.

EbuildMetadataPhase: fix broken _metadata_callback

This fixes a regression in FEATURES=parse-eapi-ebuild-head support
for egencache since commit 2ed1cb53cc4158af08c22d466b15b9a9a7767212.

repoman: remove unused imports

bin/ebuild: don't set PORTAGE_CALLER

This removes the last reference to PORTAGE_CALLER.

fixpackages: don't use PORTAGE_CALLER

portdbapi.aux_get: fix broken _metadata_callback

This fixes a regression in FEATURES=parse-eapi-ebuild-head support
since commit 2ed1cb53cc4158af08c22d466b15b9a9a7767212.

EbuildMetadataPhase: use b''.join() for bytes

repoman: handle categories for multiple masters

Also, copy repoman_settings.categories to each individual
profile's dep_settings.categories attribute, in order to ensure
that portdbapi.cp_list() uses the correct category set.

frozenset categories optimize pordbapi.cp_list()

repoman: validate categories for vcs files

FindVCS: support Subversion 1.7

Since subversion 1.7, only a top-level .svn dir is used.  Make FindVCS
also deal with that.  (Tested with repoman on Prefix SVN-based tree.)

emerge --metadata: fix empty INHERITED handling

Since changes to eclass validation code in commit
2ed1cb53cc4158af08c22d466b15b9a9a7767212, validation of cache for
packages with empty INHERITED metadata has been broken due to failure
to distinguish between None and empty dict return values from
eclass.cache.validate_and_rewrite_cache().

emerge --metadata: fix breakage

The hunk that got removed from action_metadata in commit
d4ea29bf6a3ce35d49e0f54f9173e3a6e42da2d6 is actually needed when
FEATURES=metadata-transfer is enabled.

repoman: simplify digestgen and gpgsign loops

We can re-use the vcs_files_to_cps() function from commit
9c9145a9e3c2d8d1bcebf791ce2188add656fee2.

repoman: optimize --if-modified and --echangelog

Avoid unnecessary nested loops.