build.sh: Die with an error if a wget fails

build.sh: Use autobuilds for ARCH_URL instead of current-stage3

The autobuilds directory contains a few rounds of older stages, while
current-stage3 has only the most recent stage.

build.sh: Add BUILD_OPTS for custom build options

For example, to rebuild a package without using the cache:

  $ REPOS=docker-registry BUILD_OPTS=--no-cache ./build.sh

which lets you update your image after the upstream repository has
changed.

docker-registry: Add a Gentoo-based docker-registry

The requirements are installed using Portage, because that handles
non-Python requirements gracefully, and caches all the source tarballs
for later use (e.g. if PyPI is down).  Note with the 20140206
snapshot, this installs dev-python/gevent-1.0_rc3, which is based on
libev not libevent like the pre 1.0 gevents [1]:

  New version of gevent uses libev and c-ares rather than libevent and
  includes all the dependencies in the release tarball.

You may have to bump your gevent requirements (docker-registry's
requirements.txt currently pins it at 0.13.8) or install
dev-libs/libevent if you want to run the tox test suite.

Bugsnag doesn't have a Gentoo package, so I don't install it.  That
means you won't be able to use Bugsnag with this image (unless you
install it yourself), and you'll want a version of docker-registry
that includes e253550 (Merge pull request #241 from
wking/optional-bugsnag, 2014-02-11).

[1]: https://pypi.python.org/pypi/gevent/0.13.8

build.sh: Bump DATE to 20140206

Move past the recent Python-and-/dev/shm issues now that Catalyst is
fixed.  I've built the full suite of images with 20140206 without
issues.

README.md: Remove 'is mounted from the host' typo

This was leftover from an old writeup of a host-mounted workaround,
and should never have been committed.

gentoo-portage/Dockerfile.template: chown portage:portage /usr/portage

When the usersync feature is enabled (which it is by default),
emerge-webrsync uses the owner and group of /usr/portage
(${repo_location}) for the unpacked tree.  This commit avoids having
the whole tree be owned by root:root.

build.sh: Only extract busybox before building the portage image

There's no need to extract it again every time we run this script.

build.sh: Add [--help] {build|missing} support

The 'missing' command show which repos remain unbuilt.  I use this to
setup the REPOS environtment variable for subsequent build calls, if
on of the repos is giving me trouble.

build.sh: Pull repo_exists out into a helper function

Don't repeat yourself ;).

build.sh: Use functions to make the logical flow more obvious

Also log important actions to stdout so you can monitor what's
happening.

build.sh: Use DOCKER to allow local command overrides

On Debian, the binary is installed as docker.io [1] to avoid confusion
with the existing window manager docker package [2].

While you can override DOCKER, it would be nice if we just worked out
of the box for everyone.  Use 'command -v' [3] and the temporary
DOCKER_IO to setup the following chain:

1. If DOCKER is already set (e.g., by the user) use it.
2. Fall back to docker.io, if we find it in the PATH.
3. Fall back to docker.

The logic is that if docker.io exists, it's almost certainly what we
want.  If docker exists in the path, it's more ambiguous.

[1]: http://packages.debian.org/unstable/docker.io
[2]: http://packages.debian.org/unstable/docker
[3]: http://pubs.opengroup.org/onlinepubs/9699919799/utilities/command.html

build.sh: Use generic distfiles.gentoo.org for MIRROR

Instead of hardcoding mcs.anl.gov.  If you want to use a specific
mirror, you should override the MIRROR environment variable yourself.

nginx-proxy/vhost-template.conf: Set X-Forwarded-Host

Since v1.5, Django cares about the requested Host (or
X-Forwarded-Host) [1], so we need to pass that information through.
With this Nginx config, you can set USE_X_FORWARDED_HOST [2] and parse
the appropriate hostname instead of your Docker container's IP.

[1]: https://docs.djangoproject.com/en/dev/ref/settings/#allowed-hosts
[2]: https://docs.djangoproject.com/en/dev/ref/settings/#std:setting-USE_X_FORWARDED_HOST

nginx-proxy/vhost-template.conf: Use $proxy_add_x_forwarded_for

Instead of $remote_addr.  This gives a chain of remote addresses if we
have multiple layers of proxies [1]:

  $proxy_add_x_forwarded_for

  Contains client request-header "X-Forwarded-For" with separated by
  comma $remote_addr. If there is no X-Forwarded-For request-header,
  than $proxy_add_x_forwarded_for is equal to $remote_addr.

[1]: http://wiki.nginx.org/HttpProxyModule#.24proxy_add_x_forwarded_for

postgresql/Dockerfile.template: Log to syslog

Also use sed to place the listen_addresses config near its associated
comments in the config file.

nginx-proxy: Add an Nginx proxy image

I've got a bunch of HTTP server images, but I need a single proxy
container that supports SNI to expose them to the world.  This
container can link to a colleciton of HTTP-serving containers and
proxy them under arbitrary hostnames using user-supplied, per-host
certificates and keys.

env and sed are both in POSIX 2013 [1,2], and the:

  eval A=\$$B

variable indirection is because POSIX [3] doesn't support Bash's
indirect expansion "A=${!B}".  The 'tcp' -> 'http' replacement maps
Docker's tcp:://${IP}:${PORT} addresses to http://${IP}:${PORT} for
use in the Nginx config.

envsubst is in gettext [4] and not in POSIX [5], so it may be slightly
less portable.  However, envsubst and gettext are in Gentoo's x86 and
amd64 stage1s, our Gentoo-based images will have it.

[1]: http://pubs.opengroup.org/onlinepubs/9699919799/utilities/env.html
[2]: http://pubs.opengroup.org/onlinepubs/9699919799/utilities/sed.html
[3]: http://pubs.opengroup.org/onlinepubs/9699919799/utilities/V3_chap02.html#tag_18_06_02
[4]: http://www.gnu.org/software/gettext/
[5]: http://pubs.opengroup.org/onlinepubs/9699919799/idx/utilities.html

nginx/Dockerfile.template: Change default hostname to _

From the docs [1]:

  In catch-all server examples the strange name “_” can be seen:

    server {
        listen       80  default_server;
        server_name  _;
        return       444;
    }

  There is nothing special about this name, it is just one of a myriad
  of invalid domain names which never intersect with any real name.

Still, an invalid domain name makes more sense than 'localhost' for a
public server.

[1]: http://nginx.org/en/docs/http/server_names.html#miscellaneous_names

postgresql: Declare /var/lib/postgresql a VOLUME

Avoid the hassle of maintaining a host-mounted volume by letting
Docker handle the volume maintenance ;).  We need to declare the
VOLUME *after* filling it with content (with 'emerge --config'),
otherwise ownership and permissions on the empty volume are lost
[1,2,3], and future RUN commands die due to:

  initdb: could not access directory "/var/lib/postgresql/9.3/data": Permission denied

[1]: https://github.com/dotcloud/docker/issues/2360
[2]: https://github.com/dotcloud/docker/issues/2969
[3]: https://github.com/dotcloud/docker/issues/2975
[4]: https://github.com/dotcloud/docker/pull/3008

portage/README.md: You can mount volumes from stopped containers

As Sven Dowideit describes in a pending doc update [1].

[1]: https://github.com/dotcloud/docker/pull/3389

redis/Dockerfile.template: Direct logs to syslog

Since I'm tailing /var/log/messages in CMD.  This also makes it easier
if you want to redirect the logs to a central syslog server.

build.sh: Bump DATE to 20131226 to match the new weekly build

Use envsubst instead of sed to parse Dockerfile.template

Convert everything in one pass, instead of taking a separate pass for
each variable.  Thanks to aluedeke for mentioning envsubst on #docker;
I hadn't heard of it before.  It's distributed as part of gettext [1],
and not in POSIX [2], so it may be slightly less portable.  However,
envsubst and gettext are in Gentoo's x86 and amd64 stage1s, so it
can't be *that* uncommon ;).

[1]: http://www.gnu.org/software/gettext/
[2]: http://pubs.opengroup.org/onlinepubs/9699919799/idx/utilities.html

memcached: Add a Memcached image

The 10MB of overhead memory were estimated from this output in a
running memcached container:

  # ps aux
  USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
  root         1  0.0  0.0  20300  2124 ?        S    20:57   0:00 /bin/bash
  memcach+   184  0.0  0.0 323124  1112 ?        Ssl  20:58   0:00 /usr/bin/memcached -d -p 11211 -U 11211 -m 128 -c 1024 -u
  root       224  0.0  0.0  25064   440 ?        S    20:58   0:00 supervising syslog-ng
  root       225  0.3  0.0 124708  3620 ?        Ssl  20:58   0:00 /usr/sbin/syslog-ng --persist-file /var/lib/syslog-ng/sysl
  root       263  0.0  0.0  18632   804 ?        Ss   20:58   0:00 /usr/sbin/cron
  root       300  0.0  0.0  15440  1148 ?        R+   20:58   0:00 ps aux

Less Bash and ps, that's 1112 + 3620 + 804 = 5.5MB of resident memory,
so 10MB seemed like a safe buffer.

kibana: Add a Kibana image

Dump a Kibana tarball into Nginx's htdocs, and use an
ELASTICSEARCH_URL environment variable to adjust config.js at spin-up.

List Kibana after Nginx in build.sh's REPOS to ensure the Nginx image
is built first.

nginx: Add an Nginx image

stunnel: Add a stunnel-wrapper image

Make it easy to wrap arbitrary ports with stunnel.

The explicit pid configuration avoids errors like:

  ... stunnel: ... Cannot create pid file /var/lib/run/stunnel/stunnel.pid
  ... stunnel: ... create: No such file or directory (2)

which is probably just a wart in Gentoo's stunnel packaging.

postgresql/README.md: Mention volume-mounts and setup

Without a host-mounted volume for /var/lib/postgresql I filled up the
10GB dm block allocated by Docker v0.7.2.

redis/Dockerfile.template: Bind to all interfaces

It's not much good to have a Redis container that's only listening to
localhost ;).

build.sh: Allow readlink for path-canonicalization

Debian doesn't have realpath installed by default [1], so fall back to
the more widely available readlink [2].

[1]: http://packages.debian.org/unstable/utils/realpath
[2]: http://www.gnu.org/software/coreutils/manual/html_node/readlink-invocation.html

portage: Add a Portage-volume-exporting image

This builds the Portage snapshot into a stand-alone volume, which can
be mounted using -volumes-from.  There's currently no
Dockerfile-supported way to mount this for builds, so gentoo-portage
still goes the emerge-webrsync route.

We need something to fill the role of /bin/sh in the Portage-snapshot
container, so I'm using the /bin/busybox from the 'gentoo' image.  As
of 2013-12-12, it's:

  sys-apps/busybox-1.21.0
    USE="ipv6 pam static -livecd -make-symlinks -math -mdev -savedconfig
         (-selinux) -sep-usr -syslog -systemd"

build.sh: Bump DATE to 20131212 to match the new weekly build

elasticsearch: Add Elasticsearch container instructions

gentoo-java/Dockerfile.template: Add Gentoo+Java container instructions

I tried to bootstrap icedtea using icedtea-bin, but ran into a blocker
between app-admin/eselect-java-0.1.0 and
dev-java/java-config2.1.12-r1.  Figuring out a resolution is not worth
my time ;).

postgresql: Add PostgreSQL container instructions (Dockerfile and README)

The $(echo /etc/postgresql*/postgresql.conf) crazyness in the
Dockerfile is because Docker chokes on:

  RUN echo host  all  all  0.0.0.0/0  trust >> /etc/postgresql*/pg_hba.conf

raising:

  /bin/sh: /etc/postgresql*/pg_hba.conf: No such file or directory

I'm not sure why it's not expanding the glob.  Perhaps Docker is
quoting redirection targets?  In any case, the $(echo ...) form works,
so that's what I'm going with for now.

redis: Add Redis container instructions (Dockerfile and README)

Run update-copyright.py

Add '# Copyright' tags for update-copyright

.update-copyright.conf: add copyright configuration.

Use my external update-copyright package to maintain copyright blurbs.

http://pypi.python.org/pypi/update-copyright/

gentoo-portage/Dockerfile.template: Set rc_sys="lxc"

Avoid:

  $ docker run -p 8010:8010 wking/buildbot
  ...
   * Caching service dependencies ...                             [ ok ]
   * You are attempting to run an openrc service on a
   * system which openrc did not boot.
   * You may be inside a chroot or you may have used
   * another initialization system to boot this system.
   * In this situation, you will get unpredictable results!
   * If you really want to do this, issue the following command:
   * touch /run/openrc/softlevel
   * ERROR: syslog-ng failed to start
  ...

build.sh: Remove `function` from `die()` definition

`function` is a Bash-ism.  POSIX suggests [1]:

  fname() compound-command[io-redirect ...]

[1]: http://pubs.opengroup.org/onlinepubs/9699919799/utilities/V3_chap02.html#tag_18_09_05

COPYING: Add the 2-clause BSD license

From http://opensource.org/licenses/BSD-2-Clause

Initial dockerfile commit

This builds a working Buildbot container from scratch using the Gentoo
stage3 tarball as a seed.  Everything seems to work with Docker
v0.7.1.