package_cache: Bump to version 0.2

Changes since v0.1:
* Added a fallback MIME type to fix server errrors on unknown
  extensions.
* Documented a transparent proxy iptables setup.

server: Add a fallback MIME type (application/octet-stream)

Avoid:

  Traceback (most recent call last):
    File "/.../wsgiref/handlers.py", line 137, in run
      self.result = application(self.environ, self.start_response)
    File "/.../site-packages/package_cache/server.py", line 50, in __call__
      environ=environ, start_response=start_response)
    File "/.../site-packages/package_cache/server.py", line 69, in _serve_request
      path=cache_path, environ=environ, start_response=start_response)
    File "/.../site-packages/package_cache/server.py", line 124, in _serve_file
      start_response('200 OK', list(headers.items()))
    File "/.../wsgiref/handlers.py", line 226, in start_response
      self.headers = self.headers_class(headers)
    File "/.../wsgiref/headers.py", line 39, in __init__
      self._convert_string_type(v)
    File "/.../wsgiref/headers.py", line 46, in _convert_string_type
      " of type str (got {0})".format(repr(value)))
  AssertionError: Header names/values must be of type str (got None)

for portage-20140220.tar.xz.md5sum.

README: Document tranparent proxy setup

package_cache: Bump to version 0.1

README: Document Gentoo / OpenRC usage for distfiles caching

This is what I'm using this project for ;).

contrib/openrc/init.d/package-cache: Don't include 'distfiles' in source

Portage will request ${MIRROR}/distfiles/${FILENAME}, so we don't want
the 'distfiles' part in the source directory.  With the shift, we can
also use a single cache for both source (distfiles) and binary
packages (PKGDIR, which defaults to /usr/portage/packages) if there
are any binary packages on the upstream mirror.

main: Add the logger name and process ID to the syslog formatter

When logging to stderr, there's no need to differentiate the logging
process.  When everything's landing in the same system log, there is.

contrib/openrc/init.d/package-cache: Add PC_OPTS

You can use this to tweak the logging:

  $ cat /etc/conf.d/package-cache
  PC_OPTS="-vvv"

contrib/openrc/init.d/package-cache: Nest more deeply

Gentoo's doinitd can't handle renaming the files it installs, so
create a deeper tree where the init script can be called
'package-cache'.  This layout leaves room for a future
contrib/openrc/conf.d/package-cache if we want to supply one.

package-cache: Remove .py extension

Users shouldn't care what the implementation language is.

README.rst: Add symlink for GitHub rendering

README: Convert from Markdown to reStructuredText for PyPI

contrib/openrc-init: Add an OpenRC init script

References:
http://www.gentoo.org/doc/en/handbook/handbook-x86.xml?part=2&chap=4#doc_chap4
https://wiki.gentoo.org/wiki/OpenRC

main: Teach package-cache the --syslog option

main: Teach package-cache the --verbose option

For adjusting the verbosity of the package-level logger.

Also add a simple LoggingRequestHandler class so WSGI-side logging is
routed through our loggers instead of being written directly to
stderr.

package_cache: Add a package-level logger

This gives us a single location for configuring verbosity, handlers,
etc., for submodule loggers.

server: Log source-requests and errors

README.md: Explain what this is all about

Run update-copyright.py

package-cache.py: Add a '# Copyright' stub for update-copyright.py

.update-copyright.conf: Add copyright configuration

Use my external update-copyright package to maintain copyright blurbs.

http://pypi.python.org/pypi/update-copyright/

.gitignore: Ignore Python-3 side effects

setup.py: Package package-cache with distutils

The AUTHORS file doesn't exist yet, but we'll have it soon.

server: Use the Last-Modified header to set last-modified time (mtime)

This also sets the access time to the same value, but we're only
calling _get_file if we're about to serve the file to a client, which
will clobber any value of atime set here.

server: Check for relative paths to invalid directories

Avoid leaking information to requests like:

  http://localhost:4000/../../etc/passwd

PEP 333 isn't clear on what values are allowed for PATH_INFO, but it
does mention them as "CGI-style" [1].  RFC 3875, defining CGI 1.1,
says about PATH_INFO [2]:

  The server MAY impose restrictions and limitations on what values it
  permits for PATH_INFO, and MAY reject the request with an error if
  it encounters any values considered objectionable.

I can't actually exploit this with Python's reference WSGI
implementation.  When I tried to fetch /../../etc/passwd with Wget, I
got '/etc/passwd' as PATH_INFO, but this seems like an
important-enough risk that a little extra checking would not be wrong
;).

Also drop the urlparse call, because PATH_INFO is already the parsed
path portion of the URL.

[1]: http://legacy.python.org/dev/peps/pep-0333/#specification-details
[2]: http://tools.ietf.org/search/rfc3875#section-4.1.5

server: Create file paths as needed

Add support for non-flat source file layouts (e.g. relative paths that
contain directory parts).

Instead of creating the cache directory and possible per-file
subdirectories separately, just create per-file directories on the
fly.  This simplifies the code, but means that you won't die until the
first request if your server doesn't have permission to create these
directories.

server: Implement Server._get_file

It would be nice to use sendfile to copy between the HTTPResponse
object [1] and the cache file.  Linux supports arbitrary files (not
just sockets) for out_fd since 2.6.33, so the "to the cache file" side
works.  However, from sendfile(2) [2]:

  The in_fd argument must correspond to a file which supports
  mmap(2)-like operations (i.e., it cannot be a socket).

So reading from the HTTPResponse is not going to happen (yet).  Once
Linux gains support for socket in_fd, we could use something like:

    _os.sendfile(
        f.fileno(), response.fileno(), offset=None, count=content_length)

[1]: http://docs.python.org/3/library/http.client.html#httpresponse-objects
[2]: http://man7.org/linux/man-pages/man2/sendfile.2.html

server: Don't use a keyword for the response_headers argument to start_response

Despite being documented as response_headers [1], using a keyword
argument raises a TypeError:

  TypeError: start_response() got an unexpected keyword argument 'response_headers'

[1]: http://legacy.python.org/dev/peps/pep-0333/#the-start-response-callable

server: Don't use a keyword for the path argument to getmtime

Despite being documented as path [1], using a keyword argument
raises a TypeError:

  TypeError: getmtime() got an unexpected keyword argument 'path'

[1]: http://docs.python.org/3/library/os.path.html#os.path.getmtime

server: Don't use a keyword for the path argument to getsize

Despite being documented as path [1], using a keyword argument raises
a TypeError:

  TypeError: getsize() got an unexpected keyword argument 'path'

[1]: http://docs.python.org/3/library/os.path.html#os.path.getsize

server: Don't use a keyword for the urlstring argument to urlparse

Despite being documented as urlstring [1], using a keyword argument
raises a TypeError:

  TypeError: urlparse() got an unexpected keyword argument 'urlstring'

[1]: http://docs.python.org/3/library/urllib.parse.html#urllib.parse.urlparse

server: Don't use a keyword for the path argument to makedirs

Despite being documented as path [1], using a keyword argument raises
a TypeError:

  TypeError: makedirs() got an unexpected keyword argument 'path'

[1]: http://docs.python.org/3/library/os.html#os.makedirs

server: Create the cache directory if it doesn't already exist

main: Add an argparse-based command line interface

And a package-cache.py wrapper script to call it.

server: Stub out a WSGI server

This still needs source-fetching and Content-Range support, but it
should handle serving from the cache well enough.

package_cache: Create a Python package with a version

COPYING: Use the GPLv3

Fresh download from http://www.gnu.org/licenses/gpl-3.0.txt.