test_global_updates: add missing Atom constructor

test bug #388187

man/repoman.1: reference changelog/layout.conf

Skip global updates prior to sync (called after).

parse_updates: filter invalid for bug #388187

man/portage.5: layout.conf update-changelog

UpdateChangeLog: tweak clold_lines logic

There are two cases here that have to be mutually exclusive.

update_copyright: make pretend a keyword arg

_update_copyright_year: optimize no-match case

update_copyright: process files as raw bytes

This function will work correctly with files encoded in any character
set, as long as the copyright statements consist of plain ASCII.

UpdateChangeLog: split out/test copyright regex

This also fixes a case where something like "Copyright 2011 " would be
replaced with "Copyright 2011-2011 ".

UpdateChangeLog: tweak new/changed coded

UpdateChangeLog: split out get_committer_name()

misc-functions.sh: condense world-writable output

UpdateChangeLog: handle edge cases

This should handle all kinds of variance in the input ChangeLog and
skel.ChangeLog.

UpdateChangeLog: don't hardcode 1999 copyright

We want repoman to be applicable to as many repositories as possible.
If necessary, we can add another layout.conf attribute that configures
the copyright start years for all files.

update_copyright: remove stray semicolon

update_copyright: don't hardcode 1999 start year

We want repoman to be applicable to as many repositories as possible.
If necessary, we can add another layout.conf attribute that configures
the copyright start years for all files.

tests/repoman: add skel.ChangeLog

Merge branch 'master' of git+ssh://git.overlays.gentoo.org/proj/portage

UpdateChangeLog: fix whitespace

repoman: update copyright on modified files

To retain the behaviour of echangelog, update the copyrights on modified
files (mostly ebuilds) when necessary.  Also update the ChangeLog's
copyright.

repoman: get ChangeLog header from skel.ChangeLog

Use skel.ChangeLog from the repo to create the header of a new ChangeLog
file.  Else, we just retain the original header of the ChangeLog.  When
no skel.ChangeLog file exists, and this is a new ChangeLog, no header is
used.

tests/repoman: use layout.conf update-changelog

UpdateChangeLog: time in UTC

repoman: get default to update changelog from layout.conf

Updating the ChangeLog file may be desirable in more repos than just the
one named 'gentoo', like e.g. the Prefix one.  Hence, make this default
configurable though metadata/layout.conf.

This commit must go accompanied by a commit to
gentoo-x86/metadata/layout.conf that adds the following bit:

# Bug #337853 - gentoo's council says to enable
# --echangelog by default for the "gentoo" repo
update-changelog = true

depgraph: fix installed masked warning

This warning has been broken since commit
5f65c2294df592a6a4e0f0fff0bedec49ed3491a.

misc-functions.sh: move sleep out of loop

Having sleep in the world-writable loop causes riduculous delays for
prefix users with exotic filesystem constraints (like a FAT filesystem
mounted with umask=000).

resolver/output: use set for myfetchlist hashing

resolver/output: display binary fetch size

Add bindbapi.getfetchsizes() like pordbapi has.

/etc/portage/modules: warn about metadata_overlay

This module is an alias for flat_hash now, and hasn't been useful
since FEATURES=metadata-transfer was disabled by default in commit
81db3e467cd7f8bb94fcdf96d5fb4acf27bf382b.

load_best_module: tweak metadata_overlay fallback

python3.2 fixes: "ResourceWarning: unclosed file"

python3.2 fixes: "ResourceWarning: unclosed file"

tests/repoman: fix 'unknown revision' git msgs

Fix serialize_eclasses = False in cache template.

This fixes volatile cache validation that did not get fixed in commit
a63c163a50bf8a4e5ca8673cd8bebae29c36643a. Now all volatile cache
problems that have been introduced since commit
2ed1cb53cc4158af08c22d466b15b9a9a7767212 should be fixed.

portdbapi: fix volatile cache handling

The metadata_overlay usage, that was triggered automatically for users
without depcachedir write access, has been broken since commit
2ed1cb53cc4158af08c22d466b15b9a9a7767212. The metadata_overlay class
is not compatible with the new validation code, so remove it. If users
have metadata_overlay configured as their cache module, fall back to
flat_hash.

eclass_cache: fix volatile cache DigestException

The deepcopy in catch/volatile.py misbehaved when it tried to copy
attributes like __DEEPCOPY__ that didn't correspond to known functions.

UpdateChangeLog: use struct_passwd attributes

tests/repoman: fix manifests before adding to git

portdbapi.aux_get: remove redunant EAPI code

This code only needs to exist in _metadata_callback.

repoman: support --echangelog=force

Allows forced ChangeLog generation even when the vcs has detected that
the ChangeLog has already been modified.

UpdateChangeLog: show trivial if nothing else

Like echangelog does, show ChangeLog or Manifest if there are no other
changes to display.

perform_checksum: OSerror to PermissionDenied

hashed_path: convert OSError to PermissionDenied

man/repoman.1: update date in header

repoman: handle subprocess bug with Python 3.1

tests/repoman: test commit with git

These tests only run if the git binary is found. They include testing
of new --echangelog=y option.

tests/emerge: test --regen and --metadata

UpdateChangeLog: update copyright year in header

This feature got dropped on commit
b655137b7b5f87c11a7e742b7ef0e028a1139677.

repoman: simplify autoadd code

UpdateChangeLog: optimize and add unicode support

Also:
* copy the old header from the old ChangeLog if it exists, in case it
  contains a non-gentoo header
* don't add a header if the old ChangeLog exists and doesn't contain
  a header

repoman: implemented echangelog functionality

Instead of calling echangelog, which on its turn has to query the VCS
again, use the existing information on changes made to the current
directory, and update the ChangeLog from Python itself.
This avoids a call to echangelog, and avoids again retrieving the same
VCS information as repoman already did.  It makes repoman independent
from external tools it didn't install itself, and should be faster in
general.

hashed_path: convert stat OSError to FileNotFound

This makes it consistent with perform_checksum call which also raises
FileNotFound instead of OSError.

EbuildMetadataPhase: avoid redundant EAPI parsing

man/emerge.1: update date in header

Add --binpkg-exclude option

This options disables creation of binary packages, no matter
what enabled it in the first place. See bug 386903.

Fix a typo in a comment.

RepoConfig: sort __slots__

_pull_valid_cache: pass unicode to hashed_path

This removes a conversion to bytes that should have been removed in
commit 2ed1cb53cc4158af08c22d466b15b9a9a7767212. The hashed_path
location attribute should always be unicode, for consistency will path
handling throughout portage. The hashed_path class internally uses the
portage portage.os wrapper to ensure that paths are encoded as utf_8
bytes when they are passed to the real os module for stat calls.

MetadataRegen: remove unused import

egencache: remove unused import

EbuildMetadataPhase: tweak metadata_callback usage

For parse-eapi-ebuild-head, we want to assign self.metadata from the
return value, for conformity with usage elsewhere.

egencache: add _mtime_ to metadata

This fixes a regression in FEATURES=parse-eapi-ebuild-head support
for egencache since commit 2ed1cb53cc4158af08c22d466b15b9a9a7767212.
If the metadata does not contain _mtime_ here, then _setitem from
cache.metadata.database will raise KeyError.

EbuildMetadataPhase: fix parse-eapi-ebuild-head

This fixes bugs that can only be triggered by egencache since
other callers handle parse-eapi-ebuild-head earlier.

EbuildMetadataPhase: fix broken _metadata_callback

This fixes a regression in FEATURES=parse-eapi-ebuild-head support
for egencache since commit 2ed1cb53cc4158af08c22d466b15b9a9a7767212.

repoman: remove unused imports

bin/ebuild: don't set PORTAGE_CALLER

This removes the last reference to PORTAGE_CALLER.

fixpackages: don't use PORTAGE_CALLER

portdbapi.aux_get: fix broken _metadata_callback

This fixes a regression in FEATURES=parse-eapi-ebuild-head support
since commit 2ed1cb53cc4158af08c22d466b15b9a9a7767212.

EbuildMetadataPhase: use b''.join() for bytes

repoman: handle categories for multiple masters

Also, copy repoman_settings.categories to each individual
profile's dep_settings.categories attribute, in order to ensure
that portdbapi.cp_list() uses the correct category set.

frozenset categories optimize pordbapi.cp_list()

repoman: validate categories for vcs files

FindVCS: support Subversion 1.7

Since subversion 1.7, only a top-level .svn dir is used.  Make FindVCS
also deal with that.  (Tested with repoman on Prefix SVN-based tree.)

emerge --metadata: fix empty INHERITED handling

Since changes to eclass validation code in commit
2ed1cb53cc4158af08c22d466b15b9a9a7767212, validation of cache for
packages with empty INHERITED metadata has been broken due to failure
to distinguish between None and empty dict return values from
eclass.cache.validate_and_rewrite_cache().

emerge --metadata: fix breakage

The hunk that got removed from action_metadata in commit
d4ea29bf6a3ce35d49e0f54f9173e3a6e42da2d6 is actually needed when
FEATURES=metadata-transfer is enabled.

repoman: simplify digestgen and gpgsign loops

We can re-use the vcs_files_to_cps() function from commit
9c9145a9e3c2d8d1bcebf791ce2188add656fee2.

repoman: optimize --if-modified and --echangelog

Avoid unnecessary nested loops.

repoman --echangelog: fix manifest-only commmits

repoman --if-modified: handle removed files

eclass_cache: fix cache_getter typo

This triggered a regression since commit
2ed1cb53cc4158af08c22d466b15b9a9a7767212 that caused cache entries
containing eclass paths to appear invalid.

layout.conf: add git friendly pregenerated cache format

Enabled via cache-format = md5-dict
This format is essentially just flat_hash, using md5 rather than mtime,
and dropping the path component from _eclasses_ entries.

From a speed standpoint, the md5 overhead is ~16% in comparison to mtime,
timed on a modern sandybridge; specifically, validating 29k nodes takes
~8.8s for flat_md5, while the pms norm is ~7.7s.

That said, the cache is /usable/ in places PMS is not; in those cases,
it can definitely be a win since even if the cache is partially old,
it's better than regenerating everything from scratch.
(cherry picked from commit 95ddf97e2f7e7d3f6a072604b2df5f77e9298558)

Change-Id: Ic3561369b7a8be7f86480f339ab1686fddea6dff

cache: rewrite to support arbitrary validation method

Specifically, the cache can use any portage supported checksum method,
or use the standard mtime approach.  In addition, support controlling
whether or not paths are stored, and generally try to restore some
of the centralization/encapsulation that was in place originally.
(cherry picked from commit bc1aed614fb588f0ade5bcb5d1265a8db0f8d247)

Change-Id: Ic38057e7dbb15063c64a93c99e66e113a7d4c70e

cache.util: drop completely dead module/code

Looks of it, this code was copied/mangled into action_metadata; the
noise/callbacks in use don't do anything, so drop them, the dead code,
and clean up the exception handling to reflect the new reality
(cherry picked from commit 320890fadbedf678119ac06d458ed6086075431e)

repoman: handle unicode in echangelog args

repoman: add --echangelog=<y|n> for bug #337853

This option will call echangelog for each package that has modified
files and does not have a modified ChangeLog. Gentoo's council has
decided that this option will be enabled by default for the "gentoo"
repository. If desired, we can add a metadata/layout.conf setting so
that other repositories can control the default behavior.

repoman: support REPOMAN_DEFAULT_OPTS variable

Revert "Use plain ascii encoding for this file"

This reverts commit 2a4b07c8d0105ea7418ea3afc9e777a7a396fc46.
Current python ebuilds no longer remove the encodings directory when
USE=ebuild is enabled, so now it's possible to use UTF8 encoding in
python source files without triggering unsightly SyntaxError messages
when python_mod_optimize is compiling byte-code files.

Update --prune man page entry (bug 387011)

RELEASE-NOTES: FEATURES=fixpackages unconditional

This should help people who get warnings about unknown value(s) in
FEATURES due to having FEATURES=fixpackages enabled in make.conf even
though it's been enabled by default for almost 3 years (bug #386871).

Fix inverted QA_SONAME_NO_SYMLINK logic.

Don't generate soname symlinks for bug #387053.

The symlink is not really needed now that the QA notice has been
available for some time (testing since 2.1.10.4, and stable
since 2.1.10.11).

Add QA_SONAME_NO_SYMLINK for bug #387053.

quickpkg: optimize */* matches

portageq match: wildcard support

_pull_valid_cache: fix readonly delete logic

layout.conf: make the pregenerated cache format controllable

Controllable via 'cache-format', currently it supports only one cache;
'pms', and defaults to it.  If an unsupported cache-format is specified,
the cache is disabled.  If pms is specified and metadata/cache directory
doesn't exist, the cache is disabled.

Finally, this rips out the best module support for locally overriding
the cache format used for pregenerated caches; this functionality made
zero sense (upstream determines the format, we use what is available).

quickpkg: use AmbiguousPackageName