irkerd: Handle missing usernames

Restore the default 'irker' username from the pre-asyncio code:

  username=target.username or username or 'irker',

We don't have a username argument, so it's currently either
target.username or the default.  This avoids a handshake with
ircs://:********@irc.example.net/chan that looks like:

  client: PASS ********
  client: NICK irker123
  client: USER  0 * :irker relaying client
               ^ empty, string
  server: :irc.example.net 461 irker123 USER :Syntax error

To make extra sure we don't have problems, we only submit PASS when we
have both a password and username [1], and only submit USER when we
have a username.  There's no sense in trying to authenticate yourself
with PASS if you don't have a username, although with the new code
it's impossibe to not have a username.

[1]: http://tools.ietf.org/html/rfc2812#section-3.1

irkerd: Handle UnicodeDecodeError in LineProtocol.data_received

I just got the following in a message-of-the-day from
leguin.freenode.net:

  Welcome to leguin.freenode.net in Ume\xe5, Sweden, EU!

Where Ume\xe5 is Ume{U+00E5 LATIN SMALL LETTER A WITH RING ABOVE}.
\xe5 is the ISO-8859-1 encoding.  Since important messages from the
IRC server should be in ASCII [1]:

  Regardless of being an 8-bit protocol, the delimiters and keywords
  are such that protocol is mostly usable from US-ASCII terminal and a
  telnet connection.

So rather than trying some fancy charset-detection heuristics, just
drop lines that don't decode properly.

[1]: http://tools.ietf.org/html/rfc2812#section-2.2

irkerd: Close a Dispatcher after a bad-password error

Instead of continually trying to reconnect.  If the server didn't like
your password last time, it's not likely to like it next time either.
Bad-password errors aren't covered in RFC 2812 (the ERROR entry is
very general [1]).  Charybdis seems to use:

  ERROR :Closing Link: webirc. (Bad Password)

and ngIRCd uses:

  ERROR :Access denied: Bad password?

[1]: http://tools.ietf.org/html/rfc2812#section-3.7.4

irkerd: Make Dispatcher._target public (rename to .target)

We'll need this to find the dispatcher.target.connection() key to
remove entries from IrkerProtocol._dispatchers.

irkerd: Record errors (for example bad-password messages)

We can use these to distinguish between lost connections because of
flaky connections (where trying again is useful) and lost connections
because of bad passwords (where we should just give up).

irkerd: Convert from threading to asyncio for juggling connections

This is a fairly extensive restructuring, but I think a
single-threaded, asynchronous framework is easier to debug than the
previous multi-threaded implementatation with it's extensive locking.
The new implementation uses locks for anti-flooding
(Channel._send_message) and new-connection channel joins
(Dispatcher._join_channels) which are in separate coroutines.  This
allows out-of-band communication (e.g. PING/PONG exchanges) to occur
independently, so you won't time out on a PONG response because you're
locked sending some large, multi-line message.

Anti-flood protection sleeps use a per-connection (IRCProtcol) lock,
because the IRC server only cares about connection-level spamming, not
channel-level spamming.  We need the outer channel-level lock to avoid
interleaving multiline messages within a single channel.  Other than
this anti-flood locking, communication for separate channels is
independent, because Channel._send_message coroutines are always
launched in non-blocking Tasks from IRCProtcol.send_message (after
we've taken care of the synchronous _join error handling and such).
The parallel Channel._send_message coroutines function as an outgoing
message queue, with parallel contention for the per-channel
interleaving locks and per-connection anti-flood locks.

Channel._send_message coroutines are reaped by
Channel._reap_message_task, which catches and logs errors, re-queuing
the message for possible follow-up attempts.  This allows us to avoid
sending messages after we've been kicked from a channel or had the
connection dropped, but we can keep the channel (and re-queued
messages) and try to resend them after we rejoin the channel.  We
don't try to rejoin channels after we've been kicked though, because
that's just annoying.

I simplified the time-to-live calculations, with the following drops:

* XMIT_TTL, because we have per-channel timers
  (IRCProtocol._transmit_ttl and Channel.last_tx), which closes quiet
  channels in IRCProtocol._check_ttl (analagous to the old
  CHANNEL_TTL).  The IRCProtocol closes itself (from
  _handle_channel_disconnect) if it no longer has any channels, so a
  separate timeout at the IRCProtocol level isn't needed.

* PING_TTL, because it's a subset of the general case handled by
  IRCProtocol._receive_ttl.

* DISCONNECT_TTL, because I could't reproduce delayed reconnect hangs.
  Requesting a connection to a closed port raised:

    localhost:6667: Multiple exceptions:
      [Errno 111] Connect call failed ('::1', 6667, 0, 0),
      [Errno 111] Connect call failed ('127.0.0.1', 6667)

  which was caught without delay in Dispatcher._connection_created,
  after which the failed connection was dropped.  Connections that are
  open but not responding will be caught by the handshake TTL.

  FIXME: This will leave the target's dispatcher and channel queues in
  memory, so cleaning up after some delay is probably a good idea.

* UNSEEN_TTL, because I could't reproduce invalid-servername hangs.
  Requesting an invalid servername raised:

    example.invalid:6667: [Errno -2] Name or service not known

  which was caught without delay in Dispatcher._connection_created,
  after which the failed connection was dropped.

I also removed ANTI_BUZZ_DELAY, because we're using scheduled
callbacks instead of polling for the timeout checks.

I dropped CONNECTION_MAX, because our limit is now the number of open
connection file descriptors, not thread memory usage.  I don't expect
we'll bump into this limit, but it's easier to catch that exception
than to track global "connection count" state.

Merge remote-tracking branch 'anarcat/bug-usage' into next

* anarcat/bug-usage:
  fix usage for --log-level

fix usage for --log-level

Merge branch 'host-port' into next

* host-port:
  irkerd: Add command-line options for the listener --host and --port

Merge branch 'syslog' into next

* syslog:
  irkerd: Add the --syslog argument to swap in the SysLogHandler

irkerd: Add the --syslog argument to swap in the SysLogHandler

For folks running irkerd as a daemon, it's useful to use a real log
handler ;).

irkerd: Add command-line options for the listener --host and --port

We shouldn't have to edit the file to bind to an alternative
interface.  The lack of a configurable port was an explicit decision
in the original design [1]:

> I even, quite deliberately, omitted the usual option to change the
> port that irker listens on. Because if you think you need an option
> like that, you actually have a problem you need to solve at your
> firewall.

which is fine, but it seems excessive to have to edit irkerd to bind
to 0.0.0.0 instead of localhost.  From the security audit's
assumptions [2]:

> 3. The machine which hosts irkerd has the same owner as the machine
>    which hosts the the repo; these machines are possibly but not
>    necessarily one and the same.

and it's going to be hard for the hooks to communicate with a remote
irkerd if that irkerd is only bound to localhost.  I don't really care
about configuring the port, but it's similar enough to the host
interface that I thought it should have the same config mechanism
(from a "least surprise" perspective).

[1]: http://esr.ibiblio.org/?p=4540
[2]: security.txt in this repo

Date-stamp 2.7.

Version bump for 2.7 release.

Suppress some spuriious pylint warnings.

irkerd: Fix 'self.socket' -> 'socket' typos in _wrap_socket

Respect the 'socket' argument passed in by the caller.  Fixes a typo
introducted in a82724f (irkerd: Initial SSL/TLS implementation,
2014-03-06).

irkerd: Fix -i / --immediate handling, and add a message argument

This fixes some problems with -i/--immediate parsing in ccd311c5
(irkerd: Transition from getopt to argparse, 2014-03-06).

> +    parser.add_argument(
> +        '-i', '--immediate', action='store_const', const=True,
> +        help='disconnect after sending each message')

This does not match the old syntax where -i took two arguments (an IRC
URL and a message).

> -    if immediate:
> +    if args.immediate:
>          irker.irc.add_event_handler("quit", lambda _c, _e: sys.exit(0))
>          irker.handle('{"to":"%s","privmsg":"%s"}' % (immediate, arguments[0]), quit_after=True)
>          irker.irc.spin()

immediate should be args.immediate, and arguments[0] needs to be added
as a new (optional) positional argument.

This patch fixes both issues.

Fix somre confusion abot argument-passing.

Allow kwargs use.

Documentation updates.

irkerd: Extract username and password from submitted URLs

And use them (when present) as the USER username [1] and server PASS
[2] respectively.  The previous implementation gave no way to set
PASS, which will vary on a per-target-server level.  There's unlikely
to be much need to set per-server usernames, except collision
avoidance (e.g. network X already has an 'irker' user).

I changed the existing IRCServerConnection.connect argument from
'ircname' to 'realname' to match the USER specs and our
IRCServerConnection.user implementation.  The 'realname' and
'username' arguments are currently unset, but you could add command
line options to set irker-wide defaults, and use the kwargs chain to
pass them down to the connect method.  The fallback logic is:

* Prefer the setting listed in the URL (although you'd need to add a
  parser to extract 'realname').  If that's empty or missing, fall
  back to
* The irker-wide default passed down the kwargs chain.  If that's
  empty or missing, fall back to
* Local defaults ('irker' and 'irker relaying client').

I also tweaked the servername and port extraction in
Target.__init__(), because they are already parsed out of the netloc
(along with the username and password) by urlparse().

[1]: https://tools.ietf.org/html/rfc2812#section-3.1.3
[2]: https://tools.ietf.org/html/rfc2812#section-3.1.1

irkerd: Initial SSL/TLS implementation

This is pretty basic, just using as much of Python's ssl module as the
host Python implementation supports.  I also added error-level logging
of IRCServerConnectionError instances, to get helpful messages like:

  Invalid SSL/TLS certificate:
  hostname 'localhost' doesn't match 'irc.example.net'

and:

  Couldn't connect to socket: _ssl.c:334: No root certificates
  specified for verification of other-side certificates.

Important milestones in the standard library's ssl module:

* Python 2.5 [1,2]: No ssl module at all
* Python 2.6 [1,2]: ssl module added
* Python 3.2 [3,4]: ssl.SSLContext class added, with
  SSLContext.set_default_verify_paths [4].  ssl.match_hostname is also
  added [5], which can be used with the existing getpeercert [6] to
  ensure the server certificate belongs to the target host.

So for full verification, we need Python 3.2.  We can scrape by with
2.6 and later, by manually supplying a ca_certs path and ignoring
hostname mismatches.  That's more succeptible to man-in-the-middle
attacks, but still better than sending server, nick, and channel
passwords in plaintext.

[1]: http://docs.python.org/2/library/ssl.html
[2]: http://docs.python.org/2/whatsnew/2.6.html#improved-ssl-support
[3]: http://docs.python.org/3/whatsnew/3.2.html#ssl
[4]: http://docs.python.org/3/library/ssl.html#ssl.SSLContext.set_default_verify_paths
[5]: http://docs.python.org/3/library/ssl.html#ssl.match_hostname
[6]: http://docs.python.org/2/library/ssl.html#ssl.SSLSocket.getpeercert

irkerd: Replace Exception.format_exc() with traceback.format_exc()

The former was giving me:

  Traceback (most recent call last):
    File "/usr/lib64/python3.3/threading.py", line 901, in _bootstrap_inner
      self.run()
    File "/usr/lib64/python3.3/threading.py", line 858, in run
      self._target(*self._args, **self._kwargs)
    File "./irkerd", line 637, in dequeue
      LOG.debug(e.format_exc())
  AttributeError: 'TypeError' object has no attribute 'format_exc'

In Python 3.3.4.

irkerd: Add Python-3-compatible string handling

This implements the necessary changes to work around the (str,
unicode) -> (bytes, str) transition.  We decode the bytes as soon as
possible after receiving them in the Irker*Handler classes.  For
IRC-side connections, we still encode outgoing data right before
sending it in IRCServerConnection.ship.

We decode incoming IRC-side bytes in IRCServerConnection.consume,
after storing them as bytes in the LineBufferedStream
IRCServerConnection.buffer.  That ensures that we don't try and decode
partial code points which are split across two socket messages.

irkerd: Use self instead of LineBufferedStream in lines()

That's what 'self' is for ;).  Also prefix 'crlf_re' with an
underscore to mark it as private data, and not part of
LineBufferedStream's API.

irkerd: Add Python-3-compatible import names

Prefer the Python 3 names to the Python 2 names for forward
compatibility.

irkerd: Drop scheme replacement in Target.__init__

Now that we've dropped support for Python 2.5, we don't need this
workaround anymore.

irkerd: Drop simplejson replacement

Since we no longer officially support Python 2.5, there's no *need* to
use a fallback JSON library.  Removing it makes our dependencies
cleaner, and JSON-parsing speed is not likely to be a large fraction
of irkerd cycles anyway.

irkerd: Convert to Python 3's "except x as y" syntax

Support for this was added in Python 2.6 and 3.0.  We can't have
Python 3 compatibility without removing the old "except x, y" syntax,
and I think 3.x support is more imporant than 2.5 support.  In any
case, the existing irkerd has been using the new syntax since 3cc8751
(Truncate messages that are longer than 512 bytes and catch any
exceptions irclib throws about rejected messages, 2013-01-21), so this
commit is not a *new* break with 2.5 support.

irkerd: Replace sys.stderr.write with LOG.error

Thie makes logging more consistent with other errors (e.g. you can
adjust the logging Handler and get all the errors sent to syslog or a
file).  I also removed the 'irkerd: ' prefix; if we want that, I think
we should add it to all logged messages by using a custom string in
the logging Formatter.

irkerd: Replace a print statement with LOG.error

Print statements are gone in Python 3, so this removes a barrier to
Python 3 support.  It also makes the logging more consistent with
other errors (e.g. the StreamHandler will print it to stdout, while
the print statement was sending it to stderr).

irkerd: Transition from getopt to argparse

This gives us long options and removes the need to code our own usage
string and choice-base argument processing.  I also removed the blurb
about options from the module docstring, to avoid duplicating
information.

irkerd: Replace 'password' global with local Connection.password

Using the new kwargs handling to pass the data through Irker() down to
Connection().  Note that this is the nickserv password, not the
server-wide login password used by Connection.connect().

irkerd: Replace 'logfile' global with local Irker.logfile

irkerd: Replace 'namestyle' global with local 'nick_template'

Using the new kwargs handling to pass the data through Irker() down to
Connection().  I think 'nick_template' more clearly reflects
the contents of this variable.

irkerd: Replace 'fallback' global with local 'nick_needs_number'

Using the new kwargs handling to pass the data through Irker() down to
Connection().

irkerd: Add kwargs handling to pass data to IRCServerConnection.connect

This makes it easy to pass data down the stack:

  Irker() (stored in Irker.kwargs)
  `-- Irker.handle() -> Dispatcher() (stored in Dispatcher.kwargs)
      `-- Dispatcher.dispatch() -> Connection() (stored in Connection.kwargs)
          `-- Connection.dequeue() -> IRCServerConnection.connect()

You can easily add data at every point in the stack (e.g. we add
'target' in Irker.handle()) and pull it back out when that's
appropriate (e.g. we tap 'target' back out in Connection()).  With
this setup we can reduce the number of global variables currently in
use, because it will be easy to pass data like passwords,
nickame-fallback-ness, etc. down to the appropriate level, without the
intermediate levels needing any changes.

irkerd: Add Target.__str__ for pretty-printing targets in log messages

Prefer the servername, falling back to the URL, falling back to
Target.__repr__().

irkerd: Convert to Python's logging module

Instead of using the local IRCClient.debug() method, use the more
flexible standard library logger.  This makes it easy to log to
syslog, rotating files, etc, using the usual logging Handlers.  The
mapping from the old implementation to the new implementation is:

  IRCClient.debug(1, message)  -> LOG.info(message)
  IRCClient.debug(2, message)  -> LOG.debug(message)
  IRCClient.debug(50, message) -> LOG.debug(message)
  Irker.logerr(errmsg)         -> LOG.error(message)

with the exception of the failed-message error, which is logged as
LOG.warning().  I didn't try and recategorize the other message log
levels, although I think a number of info-level log messages should
really be debug-level log messages.

To set the log level, the -d option now takes string arguments
(e.g. 'info', 'debug') instead of numeric arguments (e.g. '1', '2').
This breaks backward compatibility, but I think it makes the argument
more user-friendly.  If you try and set an invalid level, there's a
helpful error message to guide you in the right direction.

I also use format_exc() in Connection.dequeue (following the existing
example deeper in the Connection.dequeue nest).  The log level should
decide whether the traceback is printed or not, not whether the
exception should be raised or ignored.

irkerd: Split imported modules onto their own lines

Following PEP 8 [1]:

  Imports should usually be on separate lines, e.g.:

    Yes: import os
         import sys

    No:  import sys, os

This also makes it easier to read diffs that add and remove imports,
since you won't need a word-diff to see exactly what changed.

[1]: http://legacy.python.org/dev/peps/pep-0008/#imports

Conflicts:
irkerd

irkerd: Pull request-parsing out into Irker._parse_request

There is a lot of error checking here, which is good, but it distracts
from the core logic of Irker.handle.  By pulling the parsing out into
a private helper function, we isolate the code focused on parsing and
error checking from the code focused on dispatching and connection
management, making both easier to read.

I've also changed the Target-validation logic.  The old Target.valid
returned True if the Target URL was valid, and False otherwise.  The
new Target.validate returns None, and raises an InvalidRequest
exception with an error message describing exactly why the URL is
invalid.  We print these messages when dropping server URLs in
Irker._parse_request, while the old Irker.handle code silently dropped
invalid targets.  We also continue processing other server URLs after
an invalid Target, while the old Irker.handle code bailed out after
the first invalid Target.  Besides making the invalid URLs more
obvious in the logs and increasing resiliency to invalid URLs, these
changes allow us to pull the URL-to-Target conversion out of
Irker.handle entirely, so it can focus more strongly on dispatch and
connection management.

irkerd: Add InvalidRequest and use it to flatten Irker.handle()

The old implementation had several instances of logic like this:

  if exception_condition:
      self.logerr("invalid request")
  else:
      # continue_processing

This increases nesting after each round of exception checking, and
makes the logic of the whole function harder to follow.  This commit
replaces that logic with:

  try:
      if exception_condition:
          raise InvalidRequest("invalid request")
      # continue peocessing
  except InvalidRequest, e:
      self.logerr(str(e))

Because the guts of the handle() function are already inside a
try/except block, we can add our except clause to the existing block,
and now exception checks don't increase nesting at all.

The exception to this global try/except block is the 'URL has
unexpected type' error, where we do want a local try/except block
inside the channel loop.  That way we get both errors about invalid
URLs and continue to attempt valid URLs.  This matches the existing
logic for this check, but conflicts with the current target.valid
check (which doesn't log an error and does stop processing of further
channels).

irkerd: Store less state in IRCServerConnection.connect()

We will never need the connection-time port, server_address, username,
ircname, or password again, so don't store them.  We *do* need server
and real_server_name for Event handling, so keep them around.

Version bump for 2.6.

Add a check for expired connections that are still running

Don't loop forever after failing to connect to IRC

AI0867 gets more credit.

Documentation improvements.

Version bump for 2.5 release.

Fix a deadlock

My typo fix was typoed.  Clearly I need more sleep.

Typo fix.

Documentation tweak.

Stupid markup fix.

Version bump for release 2.4.

Only convert to unicode when needed

Otherwise, it would crash if any unicode string was already
present.

Signed-off-by: Eric S. Raymond <esr@thyrsus.com>

Supply a missing parameter.

Cleaner exit code.

We don't want to return an error status in immediate mode.

fix crash after introduction of immediate mode

this fixes the following backtrace:

Exception happened during processing of request from ('127.0.0.1', 41192)
Traceback (most recent call last):
  File /usr/lib/python2.7/SocketServer.py, line 295, in _handle_request_noblock
    self.process_request(request, client_address)
  File /usr/lib/python2.7/SocketServer.py, line 321, in process_request
    self.finish_request(request, client_address)
  File /usr/lib/python2.7/SocketServer.py, line 334, in finish_request
    self.RequestHandlerClass(request, client_address, self)
  File /usr/lib/python2.7/SocketServer.py, line 649, in __init__
    self.handle()
  File ./irkerd, line 820, in handle
    irker.handle(line.strip())
  File ./irkerd, line 786, in handle
    self.servers[target.server()].dispatch(target.channel, message, target.key, quit_after=quit_after)
  File ./irkerd, line 641, in dispatch
    eligibles[0].enqueue(channel, message, key)
TypeError: enqueue() takes exactly 5 arguments (4 given)

when running: ./irk irker-test test

add a more helpful hook example: in post-receive

the previous suggestion seemed to be about the update hook, but it's
usually bad practice to setup notification hooks there, because if
they fail, the push fails.

parsing the git documentation to find exactly the incantation is not
exactly trivial either...

Another shipper metadata change.

Version bump for 2.3 release.

Reinstate a simpler irk that only works with irkerd running.

Clean up and document immediate mode.

Immediate mode work.

Remove unecessary elaboration.

An until string is not the answer.

Turning off DEAF is mecessary for this technique...

...but, alas, the server doesn't echo pings back to their sources.

I think this would work to terminate immediaate mode...

...if we could see message traffic!

Refactoring step: don't uncomditionally spawn a thread...

...immediate mode doesn't need it.

Note a deficiency

Half-working immediate mode.

We can now send messages with -i but we don't ger clean termination
afterwards yet.

NEWS typo fix.

Version bump for 2.2 release.

Fix up some shipper metadata.

Required magic to kill the spawned instance.

Show traceback on higher debug levels

Signed-off-by: Eric S. Raymond <esr@thyrsus.com>

Fix some documentation typos

Signed-off-by: Eric S. Raymond <esr@thyrsus.com>

An attempt at making irk clean up after itself.

Perplexingly, the terminate() method call doesn't.

Fix unicode processing

Signed-off-by: Eric S. Raymond <esr@thyrsus.com>

Remove some irclib cruft

Signed-off-by: Eric S. Raymond <esr@thyrsus.com>

Version bump for release 2.1.

Undo some damage from an overambitious patch.

More documentation polishing.

weechat doesn't do ANSI color, only mIRC.

News update.

Explain why relaying through this is a good idea!

Documentation polishing.

Cosmetic fix to Makefile.

Be more flexible about where irker can be installed.

Clean up the make file and use a more portable method of making tarballs.

Merge commit 'refs/merge-requests/26' of git://gitorious.org/irker/irker into merge-requests/26

Adapt for new shipper conventions.

Speed up parsing the Git commit author and subject

This uses the same idiom as a few lines lower to split the
formatted message into the three fields.

Version bump for 2.0.

Improved .gitignore based om an idea bu dak180.

Slightly more elegant fix, no need for new connectfail status.

Meatball-surgery fix for invalid-name bug.

00:07:27   AI0867 | esr: it reproduces on git head                   │
00:07:42   AI0867 | ./irk irc://chat.freendoe.net/foo                │
00:07:45   AI0867 | that's sufficient                                │
00:08:01      esr | OK, please email me a description of how to      │
                  | reproduce, I'll fix it.                          │
00:08:39      esr | Oh.  Is therec anything special about that       │
                  | channel?                                         │
00:08:42   AI0867 | no                                               │
00:08:48   AI0867 | any incorrect servername will do                 │
00:08:56   AI0867 | it then attempts to quit the server              │
00:09:01   AI0867 | and tries to send a QUIT                         │
00:09:06   AI0867 | which throws an exception                        │
00:09:10   AI0867 | so it tries to quit the server                   │

Add a todo note.