Merge branch 'syslog' into next

* syslog:
  irkerd: Add the --syslog argument to swap in the SysLogHandler

irkerd: Add the --syslog argument to swap in the SysLogHandler

For folks running irkerd as a daemon, it's useful to use a real log
handler ;).

Date-stamp 2.7.

Version bump for 2.7 release.

Suppress some spuriious pylint warnings.

irkerd: Fix 'self.socket' -> 'socket' typos in _wrap_socket

Respect the 'socket' argument passed in by the caller.  Fixes a typo
introducted in a82724f (irkerd: Initial SSL/TLS implementation,
2014-03-06).

irkerd: Fix -i / --immediate handling, and add a message argument

This fixes some problems with -i/--immediate parsing in ccd311c5
(irkerd: Transition from getopt to argparse, 2014-03-06).

> +    parser.add_argument(
> +        '-i', '--immediate', action='store_const', const=True,
> +        help='disconnect after sending each message')

This does not match the old syntax where -i took two arguments (an IRC
URL and a message).

> -    if immediate:
> +    if args.immediate:
>          irker.irc.add_event_handler("quit", lambda _c, _e: sys.exit(0))
>          irker.handle('{"to":"%s","privmsg":"%s"}' % (immediate, arguments[0]), quit_after=True)
>          irker.irc.spin()

immediate should be args.immediate, and arguments[0] needs to be added
as a new (optional) positional argument.

This patch fixes both issues.

Fix somre confusion abot argument-passing.

Allow kwargs use.

Documentation updates.

irkerd: Extract username and password from submitted URLs

And use them (when present) as the USER username [1] and server PASS
[2] respectively.  The previous implementation gave no way to set
PASS, which will vary on a per-target-server level.  There's unlikely
to be much need to set per-server usernames, except collision
avoidance (e.g. network X already has an 'irker' user).

I changed the existing IRCServerConnection.connect argument from
'ircname' to 'realname' to match the USER specs and our
IRCServerConnection.user implementation.  The 'realname' and
'username' arguments are currently unset, but you could add command
line options to set irker-wide defaults, and use the kwargs chain to
pass them down to the connect method.  The fallback logic is:

* Prefer the setting listed in the URL (although you'd need to add a
  parser to extract 'realname').  If that's empty or missing, fall
  back to
* The irker-wide default passed down the kwargs chain.  If that's
  empty or missing, fall back to
* Local defaults ('irker' and 'irker relaying client').

I also tweaked the servername and port extraction in
Target.__init__(), because they are already parsed out of the netloc
(along with the username and password) by urlparse().

[1]: https://tools.ietf.org/html/rfc2812#section-3.1.3
[2]: https://tools.ietf.org/html/rfc2812#section-3.1.1

irkerd: Initial SSL/TLS implementation

This is pretty basic, just using as much of Python's ssl module as the
host Python implementation supports.  I also added error-level logging
of IRCServerConnectionError instances, to get helpful messages like:

  Invalid SSL/TLS certificate:
  hostname 'localhost' doesn't match 'irc.example.net'

and:

  Couldn't connect to socket: _ssl.c:334: No root certificates
  specified for verification of other-side certificates.

Important milestones in the standard library's ssl module:

* Python 2.5 [1,2]: No ssl module at all
* Python 2.6 [1,2]: ssl module added
* Python 3.2 [3,4]: ssl.SSLContext class added, with
  SSLContext.set_default_verify_paths [4].  ssl.match_hostname is also
  added [5], which can be used with the existing getpeercert [6] to
  ensure the server certificate belongs to the target host.

So for full verification, we need Python 3.2.  We can scrape by with
2.6 and later, by manually supplying a ca_certs path and ignoring
hostname mismatches.  That's more succeptible to man-in-the-middle
attacks, but still better than sending server, nick, and channel
passwords in plaintext.

[1]: http://docs.python.org/2/library/ssl.html
[2]: http://docs.python.org/2/whatsnew/2.6.html#improved-ssl-support
[3]: http://docs.python.org/3/whatsnew/3.2.html#ssl
[4]: http://docs.python.org/3/library/ssl.html#ssl.SSLContext.set_default_verify_paths
[5]: http://docs.python.org/3/library/ssl.html#ssl.match_hostname
[6]: http://docs.python.org/2/library/ssl.html#ssl.SSLSocket.getpeercert

irkerd: Replace Exception.format_exc() with traceback.format_exc()

The former was giving me:

  Traceback (most recent call last):
    File "/usr/lib64/python3.3/threading.py", line 901, in _bootstrap_inner
      self.run()
    File "/usr/lib64/python3.3/threading.py", line 858, in run
      self._target(*self._args, **self._kwargs)
    File "./irkerd", line 637, in dequeue
      LOG.debug(e.format_exc())
  AttributeError: 'TypeError' object has no attribute 'format_exc'

In Python 3.3.4.

irkerd: Add Python-3-compatible string handling

This implements the necessary changes to work around the (str,
unicode) -> (bytes, str) transition.  We decode the bytes as soon as
possible after receiving them in the Irker*Handler classes.  For
IRC-side connections, we still encode outgoing data right before
sending it in IRCServerConnection.ship.

We decode incoming IRC-side bytes in IRCServerConnection.consume,
after storing them as bytes in the LineBufferedStream
IRCServerConnection.buffer.  That ensures that we don't try and decode
partial code points which are split across two socket messages.

irkerd: Use self instead of LineBufferedStream in lines()

That's what 'self' is for ;).  Also prefix 'crlf_re' with an
underscore to mark it as private data, and not part of
LineBufferedStream's API.

irkerd: Add Python-3-compatible import names

Prefer the Python 3 names to the Python 2 names for forward
compatibility.

irkerd: Drop scheme replacement in Target.__init__

Now that we've dropped support for Python 2.5, we don't need this
workaround anymore.

irkerd: Drop simplejson replacement

Since we no longer officially support Python 2.5, there's no *need* to
use a fallback JSON library.  Removing it makes our dependencies
cleaner, and JSON-parsing speed is not likely to be a large fraction
of irkerd cycles anyway.

irkerd: Convert to Python 3's "except x as y" syntax

Support for this was added in Python 2.6 and 3.0.  We can't have
Python 3 compatibility without removing the old "except x, y" syntax,
and I think 3.x support is more imporant than 2.5 support.  In any
case, the existing irkerd has been using the new syntax since 3cc8751
(Truncate messages that are longer than 512 bytes and catch any
exceptions irclib throws about rejected messages, 2013-01-21), so this
commit is not a *new* break with 2.5 support.

irkerd: Replace sys.stderr.write with LOG.error

Thie makes logging more consistent with other errors (e.g. you can
adjust the logging Handler and get all the errors sent to syslog or a
file).  I also removed the 'irkerd: ' prefix; if we want that, I think
we should add it to all logged messages by using a custom string in
the logging Formatter.

irkerd: Replace a print statement with LOG.error

Print statements are gone in Python 3, so this removes a barrier to
Python 3 support.  It also makes the logging more consistent with
other errors (e.g. the StreamHandler will print it to stdout, while
the print statement was sending it to stderr).

irkerd: Transition from getopt to argparse

This gives us long options and removes the need to code our own usage
string and choice-base argument processing.  I also removed the blurb
about options from the module docstring, to avoid duplicating
information.

irkerd: Replace 'password' global with local Connection.password

Using the new kwargs handling to pass the data through Irker() down to
Connection().  Note that this is the nickserv password, not the
server-wide login password used by Connection.connect().

irkerd: Replace 'logfile' global with local Irker.logfile

irkerd: Replace 'namestyle' global with local 'nick_template'

Using the new kwargs handling to pass the data through Irker() down to
Connection().  I think 'nick_template' more clearly reflects
the contents of this variable.

irkerd: Replace 'fallback' global with local 'nick_needs_number'

Using the new kwargs handling to pass the data through Irker() down to
Connection().

irkerd: Add kwargs handling to pass data to IRCServerConnection.connect

This makes it easy to pass data down the stack:

  Irker() (stored in Irker.kwargs)
  `-- Irker.handle() -> Dispatcher() (stored in Dispatcher.kwargs)
      `-- Dispatcher.dispatch() -> Connection() (stored in Connection.kwargs)
          `-- Connection.dequeue() -> IRCServerConnection.connect()

You can easily add data at every point in the stack (e.g. we add
'target' in Irker.handle()) and pull it back out when that's
appropriate (e.g. we tap 'target' back out in Connection()).  With
this setup we can reduce the number of global variables currently in
use, because it will be easy to pass data like passwords,
nickame-fallback-ness, etc. down to the appropriate level, without the
intermediate levels needing any changes.

irkerd: Add Target.__str__ for pretty-printing targets in log messages

Prefer the servername, falling back to the URL, falling back to
Target.__repr__().

irkerd: Convert to Python's logging module

Instead of using the local IRCClient.debug() method, use the more
flexible standard library logger.  This makes it easy to log to
syslog, rotating files, etc, using the usual logging Handlers.  The
mapping from the old implementation to the new implementation is:

  IRCClient.debug(1, message)  -> LOG.info(message)
  IRCClient.debug(2, message)  -> LOG.debug(message)
  IRCClient.debug(50, message) -> LOG.debug(message)
  Irker.logerr(errmsg)         -> LOG.error(message)

with the exception of the failed-message error, which is logged as
LOG.warning().  I didn't try and recategorize the other message log
levels, although I think a number of info-level log messages should
really be debug-level log messages.

To set the log level, the -d option now takes string arguments
(e.g. 'info', 'debug') instead of numeric arguments (e.g. '1', '2').
This breaks backward compatibility, but I think it makes the argument
more user-friendly.  If you try and set an invalid level, there's a
helpful error message to guide you in the right direction.

I also use format_exc() in Connection.dequeue (following the existing
example deeper in the Connection.dequeue nest).  The log level should
decide whether the traceback is printed or not, not whether the
exception should be raised or ignored.

irkerd: Split imported modules onto their own lines

Following PEP 8 [1]:

  Imports should usually be on separate lines, e.g.:

    Yes: import os
         import sys

    No:  import sys, os

This also makes it easier to read diffs that add and remove imports,
since you won't need a word-diff to see exactly what changed.

[1]: http://legacy.python.org/dev/peps/pep-0008/#imports

Conflicts:
irkerd

irkerd: Pull request-parsing out into Irker._parse_request

There is a lot of error checking here, which is good, but it distracts
from the core logic of Irker.handle.  By pulling the parsing out into
a private helper function, we isolate the code focused on parsing and
error checking from the code focused on dispatching and connection
management, making both easier to read.

I've also changed the Target-validation logic.  The old Target.valid
returned True if the Target URL was valid, and False otherwise.  The
new Target.validate returns None, and raises an InvalidRequest
exception with an error message describing exactly why the URL is
invalid.  We print these messages when dropping server URLs in
Irker._parse_request, while the old Irker.handle code silently dropped
invalid targets.  We also continue processing other server URLs after
an invalid Target, while the old Irker.handle code bailed out after
the first invalid Target.  Besides making the invalid URLs more
obvious in the logs and increasing resiliency to invalid URLs, these
changes allow us to pull the URL-to-Target conversion out of
Irker.handle entirely, so it can focus more strongly on dispatch and
connection management.

irkerd: Add InvalidRequest and use it to flatten Irker.handle()

The old implementation had several instances of logic like this:

  if exception_condition:
      self.logerr("invalid request")
  else:
      # continue_processing

This increases nesting after each round of exception checking, and
makes the logic of the whole function harder to follow.  This commit
replaces that logic with:

  try:
      if exception_condition:
          raise InvalidRequest("invalid request")
      # continue peocessing
  except InvalidRequest, e:
      self.logerr(str(e))

Because the guts of the handle() function are already inside a
try/except block, we can add our except clause to the existing block,
and now exception checks don't increase nesting at all.

The exception to this global try/except block is the 'URL has
unexpected type' error, where we do want a local try/except block
inside the channel loop.  That way we get both errors about invalid
URLs and continue to attempt valid URLs.  This matches the existing
logic for this check, but conflicts with the current target.valid
check (which doesn't log an error and does stop processing of further
channels).

irkerd: Store less state in IRCServerConnection.connect()

We will never need the connection-time port, server_address, username,
ircname, or password again, so don't store them.  We *do* need server
and real_server_name for Event handling, so keep them around.

Version bump for 2.6.

Add a check for expired connections that are still running

Don't loop forever after failing to connect to IRC

AI0867 gets more credit.

Documentation improvements.

Version bump for 2.5 release.

Fix a deadlock

My typo fix was typoed.  Clearly I need more sleep.

Typo fix.

Documentation tweak.

Stupid markup fix.

Version bump for release 2.4.

Only convert to unicode when needed

Otherwise, it would crash if any unicode string was already
present.

Signed-off-by: Eric S. Raymond <esr@thyrsus.com>

Supply a missing parameter.

Cleaner exit code.

We don't want to return an error status in immediate mode.

fix crash after introduction of immediate mode

this fixes the following backtrace:

Exception happened during processing of request from ('127.0.0.1', 41192)
Traceback (most recent call last):
  File /usr/lib/python2.7/SocketServer.py, line 295, in _handle_request_noblock
    self.process_request(request, client_address)
  File /usr/lib/python2.7/SocketServer.py, line 321, in process_request
    self.finish_request(request, client_address)
  File /usr/lib/python2.7/SocketServer.py, line 334, in finish_request
    self.RequestHandlerClass(request, client_address, self)
  File /usr/lib/python2.7/SocketServer.py, line 649, in __init__
    self.handle()
  File ./irkerd, line 820, in handle
    irker.handle(line.strip())
  File ./irkerd, line 786, in handle
    self.servers[target.server()].dispatch(target.channel, message, target.key, quit_after=quit_after)
  File ./irkerd, line 641, in dispatch
    eligibles[0].enqueue(channel, message, key)
TypeError: enqueue() takes exactly 5 arguments (4 given)

when running: ./irk irker-test test

add a more helpful hook example: in post-receive

the previous suggestion seemed to be about the update hook, but it's
usually bad practice to setup notification hooks there, because if
they fail, the push fails.

parsing the git documentation to find exactly the incantation is not
exactly trivial either...

Another shipper metadata change.

Version bump for 2.3 release.

Reinstate a simpler irk that only works with irkerd running.

Clean up and document immediate mode.

Immediate mode work.

Remove unecessary elaboration.

An until string is not the answer.

Turning off DEAF is mecessary for this technique...

...but, alas, the server doesn't echo pings back to their sources.

I think this would work to terminate immediaate mode...

...if we could see message traffic!

Refactoring step: don't uncomditionally spawn a thread...

...immediate mode doesn't need it.

Note a deficiency

Half-working immediate mode.

We can now send messages with -i but we don't ger clean termination
afterwards yet.

NEWS typo fix.

Version bump for 2.2 release.

Fix up some shipper metadata.

Required magic to kill the spawned instance.

Show traceback on higher debug levels

Signed-off-by: Eric S. Raymond <esr@thyrsus.com>

Fix some documentation typos

Signed-off-by: Eric S. Raymond <esr@thyrsus.com>

An attempt at making irk clean up after itself.

Perplexingly, the terminate() method call doesn't.

Fix unicode processing

Signed-off-by: Eric S. Raymond <esr@thyrsus.com>

Remove some irclib cruft

Signed-off-by: Eric S. Raymond <esr@thyrsus.com>

Version bump for release 2.1.

Undo some damage from an overambitious patch.

More documentation polishing.

weechat doesn't do ANSI color, only mIRC.

News update.

Explain why relaying through this is a good idea!

Documentation polishing.

Cosmetic fix to Makefile.

Be more flexible about where irker can be installed.

Clean up the make file and use a more portable method of making tarballs.

Merge commit 'refs/merge-requests/26' of git://gitorious.org/irker/irker into merge-requests/26

Adapt for new shipper conventions.

Speed up parsing the Git commit author and subject

This uses the same idiom as a few lines lower to split the
formatted message into the three fields.

Version bump for 2.0.

Improved .gitignore based om an idea bu dak180.

Slightly more elegant fix, no need for new connectfail status.

Meatball-surgery fix for invalid-name bug.

00:07:27   AI0867 | esr: it reproduces on git head                   │
00:07:42   AI0867 | ./irk irc://chat.freendoe.net/foo                │
00:07:45   AI0867 | that's sufficient                                │
00:08:01      esr | OK, please email me a description of how to      │
                  | reproduce, I'll fix it.                          │
00:08:39      esr | Oh.  Is therec anything special about that       │
                  | channel?                                         │
00:08:42   AI0867 | no                                               │
00:08:48   AI0867 | any incorrect servername will do                 │
00:08:56   AI0867 | it then attempts to quit the server              │
00:09:01   AI0867 | and tries to send a QUIT                         │
00:09:06   AI0867 | which throws an exception                        │
00:09:10   AI0867 | so it tries to quit the server                   │

Add a todo note.

Remove an irclib remnant.

More debug consolidation.

More uniform logging.

Fix the spin loop not to be O(n**2).

Smoke test passes.

Remove unnecessary mutex lock.

Eliminate the dependency on irclib.

Repairing the secret-chanel patch.  Smoke test works.

Preparing for release.

Prevent a unicode error on UTF-8 in commit metadata.

Having utf-8 in the commit metada (e.g author, commit message, file
names) triggered a decoding error:

"UnicodeDecodeError: 'ascii' codec can't decode byte 0xd7 in position 42: ordinal not in range(128)"

This is because the __unicode__ method of the Commit class, doesn't
actually return an object of type 'unicode' although it should.