ebuild: fetch: Flatten conditionals in _get_fetch_resume_size

Make this easier to read by avoiding nested conditionals [1].

[1]: http://article.gmane.org/gmane.linux.gentoo.portage.devel/4058

Reported-by: Tom Wijsman <TomWij@gentoo.org>

ebuild: fetch: Factor out _get_uris

The current fetch() function is quite long, which makes it hard to
know what I can change without adverse side effects.  By pulling this
logic out of the main function, we get clearer logic in fetch() and
more explicit input for the config extraction.

This block was especially complicated, so I also created the helper
functions _get_file_uri_tuples and _expand_mirror.  I'd prefer if
_expand_mirror iterated through URIs instead of (group, URI) tuples,
but we need a distinct marker for third-party URIs to build
third_party_mirror_uris which is used to build primaryuri_dict which
is used way down in fetch():

  if checksum_failure_count == \
      checksum_failure_primaryuri:
      # Switch to "primaryuri" mode in order
      # to increase the probablility of
      # of success.
      primaryuris = \
          primaryuri_dict.get(myfile)
          if primaryuris:
              uri_list.extend(
                  reversed(primaryuris))

I don't know if this is useful enough to motivate the uglier
_expandmirror return values, but I'll kick that can down the road for
now.

There was some discussion on the list [1] about the defaults in:

  def _get_uris(uris, settings, custom_mirrors=(), locations=()):

but I prefer this to Alec's floated:

  def _get_uris(uris, settings, custom_mirrors=None, locations=None):
      if not custom_mirrors:
          custom_mirrors = ()
      if not locations:
          locations = ()

Which accomplishes the same thing with less clarity ;).  My default
values are tuples (and not mutable lists) to make it extra-obvious
that we're not relying on anything crazy like mutating our default
values ;).

There was also discussion about whether the ugly settings object
should be passed to _get_uris, or whether the appropriate settings
should be extracted first and then passed through [2].  I've passed
settings through, because I'd prefer to have the uglyness handled in
helper functions.  The fetch() function is what most folks will care
about, so we want to keep that as clean as possible.  If the helper
functions have to suffer a bit for a cleaner fetch(), so be it.

[1]: http://thread.gmane.org/gmane.linux.gentoo.portage.devel/4002/focus=4041
[2]: http://thread.gmane.org/gmane.linux.gentoo.portage.devel/4002/focus=4042

ebuild: fetch: Factor out _get_fetch_resume_size

The current fetch() function is quite long, which makes it hard to
know what I can change without adverse side effects.  By pulling this
logic out of the main function, we get clearer logic in fetch() and
more explicit input for the config extraction.

Following a suggestion by Tom Wijsman, I put the setting name in a new
'key' variable to cut down on the PORTAGE_FETCH_RESUME_MIN_SIZE noise.

ebuild: fetch: Factor out _get_checksum_failure_max_tries

The current fetch() function is quite long, which makes it hard to
know what I can change without adverse side effects.  By pulling this
logic out of the main function, we get clearer logic in fetch() and
more explicit input for the config extraction.

Following a suggestion by Tom Wijsman, I put the setting name in a new
'key' variable to cut down on the PORTAGE_FETCH_CHECKSUM_TRY_MIRRORS
noise.

Enable BytesWarnings.

Add support for the following attributes in layout.conf to allow more
precise configuration of inheritance of settings from repositories:
  eclass-masters
  package.mask-masters
  use.aliases-masters
  use.force-masters
  use.mask-masters

Document PORTAGE_REPOSITORIES.

portage.versions.ververify(): Return an instance of bool (which is a subclass of int anyway) for better __repr__.

Bug #497238: Fix unnecessary rebuild caused by equal versions in different repositories.

Use empty value of masters attribute in test suite when possible.

Use with statements.

ResolverPlayground: Write layout.conf if needed

Update dates in recently changed files.

Russian translation update.  Bug # 450372

Delete some references to deprecated PORTDIR and PORTDIR_OVERLAY variables in documentation.

Update the release notes for a release.

Add updating the NEWS, RELEASE_NOTES files to the release process.

mkrelease: add a --runtests shortcut

This automates the release+test cycle a bit so people don't have to do
it all by hand.

portage(5): layout.conf: clarify profile-formats key

Reported-by: Sebastian Luther <SebastianLuther@gmx.de>

runtests: hardfail when a requested version is not found

This way people don't have to worry about runtests.sh passing for a
specific version when it wasn't found in the system.

runtests: add a "supported" shortcut

This keeps the list of supported versions in one place so people can do:
./runtests.sh --python-versions=supported

No need to hardcode the list of python versions in multiple places.

document release process

portage(5): layout.conf: add a proper format/attributes section

URL: https://bugs.gentoo.org/395359

Make use of optparse to fix argument parsing for Python 2.6 in bin/chpathtool.py.

mkrelease: clean up bash style

prepstrip: do no strip static libs when FEATURES=splitdebug

When people have splitdebug enabled, they want debugging info to be
available to them.  Unfortunately, splitdebug doesn't work with static
archives, so we have to leave it in.  Stripping of that will be delayed
to when the final ELF is linked.

portage.exception.PortageException: Improve performance (at least with Python 3).

Bug #496134: Preserve extended attributes in binary packages.

Fix ResourceWarning.

ebuild(5): delete newinfo references

There has never been such a helper, so stop documenting it.

add a __bashpid helper for <bash-4.0 versions

The $BASHPID variable is new to bash-4.0, so we need to add fallback logic
to support older versions (notably, bash-3.2).

Reported-by: Ryan Hill <dirtyepic@gentoo.org>

econf: update configure/config.{sub,guess} atomically to avoid races

Use $BASHPID which will be unique even in subshells.

URL: https://bugs.gentoo.org/487478

QA warning for files in /var/{cache,lock,run}/ or /run/

No warning will be issued if the directories are created, but are
left empty.

URL: https://bugs.gentoo.org/493154

Fix a typo.

Don't filter USE for binary packages with IUSE (bug 485920)

USE may contain values that aren't present in IUSE for any
supported EAPI. This for example breaks use dependencies on
USE_EXPAND-values.

The behavior for binary packages is now in line with what is
done for installed packages.

Note that this filtering was not active during merge.

URL: https://bugs.gentoo.org/485920

Fix unnecessary rebuild (bug 487198)

This one was caused by a mix of >= and < dependencies.
Rename the test as requested by Sebastian to testSlotConflictMixedDependencies

Fix crash in _ignore_dependency

Bug #489544: Document empty value of sync-type and sync-uri attributes in repos.conf.

portageq: Print deprecation warnings for deprecated commands.

portage.5: Fix location of note about repos.conf directory.

whitespace cleanup.

man-portage.5 Further document repos.conf fixes bug #491426

make.conf.5, Mention sourced files syntax

Fix some typos.

Optimize out a common element for an early return.

Another slot operator bug (bug 486580, try 2)

This time rebuilds are scheduled properly, but we
might still forget to install the package that caused
the rebuild.

URL: https://bugs.gentoo.org/486580

docompress: add --limit support with newer EAPIs

We added support for not compressing files below a certain size (since the
speed/size/etc... tradeoffs didn't make sense), but it was only for man
pages and old EAPI's.

Add the logic to the newer EAPIs and apply to all compressed paths.

URL: http://bugs.gentoo.org/169260

portage.const: restore two dropped features

The script used to clean this up accidentally dropped two features.

Reported-by: Sebastian Luther <SebastianLuther@gmx.de>

portage.const: tweak style

Makes pylint happy, and makes the code much easier to modify.

portage.const: add git-r3 to the list of live eclasses

URL: https://bugs.gentoo.org/489662

portage.const: move list of live eclasses here

fix random pylint errors

Shouldn't be any functional changes here.

Use portage.const.TIMESTAMP_FORMAT where appropriate

egencache: --write-timestamp to create metadata/timestamp.chk

This is required to sync repositories using rsnyc.

URL: https://bugs.gentoo.org/488972

_emerge.depgraph.depgraph._show_abi_rebuild_info(): Write to stdout instead of stderr.

_emerge.depgraph.depgraph._compute_abi_rebuild_info(): Simplify some code.

Suppress debug outout from tests

Fix a missing rebuild

The dependency in the ebuild was changed from
slot operator to no slot operator. The vdb
contained the slot operator and emerge would
refuse to rebuild, causing a missed update.

URL: https://bugs.gentoo.org/490362

portageq envvar: shell escape variable (bug 492314)

test_slot_conflict_rebuild: drop pointless list cast

The range() func already returns a list, so need for list().

countdown: clean up & simplify a bit

fix py-3 compatibility

Add test case for bug 486580

Fix slot operator handling bug

emerge would backtrack once for each package that needed a rebuild.
This caused it to hit the backtrack limit and to not rebuild all
packages.
It also sometimes failed to install the packages that caused the rebuild
in the first place, making the rebuilds pointless.
This fixes bug 486580.

Show packages forcing rebuilds (bug 472104)

Fix a typo.

tests: support assertIn/assertNotIn in python-2.6

tests: support standard unittest.SkipTest exceptions

fix typo causing a "os" is not defined test error.

tests: add assertExists/assertNotExists helpers

This makes it easy to assert the state of paths and when things fail,
get a good error message in the process (without having to dig into
temp dirs by hand).

This has largely been cribbed from ChromiumOS's chromite module.

movefile: simplify xattr fallback logic

The "with open()" construct handles exceptions just fine.

helper-functions.sh: sync with multiprocessing.eclass

This pulls in (among other thing) portability fixes.

URL: https://bugs.gentoo.org/487056

pym/util: clean up style a bit

Shouldn't be any functional changes here.

xattr-helper: clean up command line interface

This uses the standard argparse fields rather than open coding things
ourselves.  It also makes it a bit easier to test as you can now pass
paths on the command line in addition to stdin.

xattr-helper: refactor dump_xattrs to make it a bit more readable

Pull the common qoute chars out into a var and use % with format
strings rather than mixing + in between.

xattr-helper: standardize quoting style a bit

xattr-helper: use ValueError when the input is wrong

This is the standard exception for when the input is incorrect.

xattr-helper: add docstrings to more places

xattr-helper: use upper caps for module constants

chpathtool: clean up arg parsing to use proper argparse module

Also throw in some documentation for good measure since not everyone knows
what this thing does.

chpathtool: use built in %(prog)s for usage

chpathtool: standardize quote style

Bug #418475: Handle PermissionError caused by unreadable /etc/portage/modules.

Use 'with' statements.

RepoConfigLoader: Fix indent

Indent was wrong in commit 923f912d7c5ade8b5b18f23f1cd12add08f73c21.

mkrelease.sh: include README

emerge-webrsync: handle missing dir, bug #484950

_emerge: Implement verbose-conflicts, bug #481366

Add README

ebuild_main: prefix PKG_CONFIG_PATH, bug #485456

SpawnProcess: enable FD_CLOEXEC for Darwin

Bug #456296 is now handled by the F_GETFD/F_SETFD commands in commit
30c652a9db1014fc720f7d6055520a07b731c984.

Handle newline in symlink target for bug #485226.

portage.util.atomic_ofstream.__init__(): Fix compatibility with Python <2.6.5.
Reported by Stephen Klimaszewski.

Bug #485056: Fix portageq with Python <2.6.5.

RepoConfig: fix bug #485006

emerge-webrsync: fix bug #484950

_copyxattr: ignore EOPNOTSUPP from os.listxattr()

This will fix bug #484540.

_copyxattr: ignore EOPNOTSUPP from xattr.list()

Flag  -Waggressive-loop-optimizations warnings.
This will fix bug #484840.

Bug #484730: In sync mode, use repos.conf section name when repo_name file is missing.