[Patch v4 2/3] util: add gzreadline
authorDavid Bremner <david@tethera.net>
Sun, 30 Mar 2014 17:31:39 +0000 (14:31 +2100)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 18:01:06 +0000 (10:01 -0800)
03/8301deb44178f435b3cd90a6447b941255c392 [new file with mode: 0644]

diff --git a/03/8301deb44178f435b3cd90a6447b941255c392 b/03/8301deb44178f435b3cd90a6447b941255c392
new file mode 100644 (file)
index 0000000..ac7de44
--- /dev/null
@@ -0,0 +1,194 @@
+Return-Path: <bremner@tethera.net>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id AB070431FC0\r
+       for <notmuch@notmuchmail.org>; Sun, 30 Mar 2014 10:32:00 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: 0\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=0 tagged_above=-999 required=5 tests=[none]\r
+       autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id 86GDsAuzGU1x for <notmuch@notmuchmail.org>;\r
+       Sun, 30 Mar 2014 10:31:55 -0700 (PDT)\r
+Received: from yantan.tethera.net (yantan.tethera.net [199.188.72.155])\r
+       (using TLSv1 with cipher DHE-RSA-AES128-SHA (128/128 bits))\r
+       (No client certificate requested)\r
+       by olra.theworths.org (Postfix) with ESMTPS id 45339431FBC\r
+       for <notmuch@notmuchmail.org>; Sun, 30 Mar 2014 10:31:55 -0700 (PDT)\r
+Received: from remotemail by yantan.tethera.net with local (Exim 4.80)\r
+       (envelope-from <bremner@tethera.net>)\r
+       id 1WUJaI-0004AF-Ru; Sun, 30 Mar 2014 14:31:50 -0300\r
+Received: (nullmailer pid 29602 invoked by uid 1000); Sun, 30 Mar 2014\r
+       17:31:43 -0000\r
+From: David Bremner <david@tethera.net>\r
+To: notmuch@notmuchmail.org\r
+Subject: [Patch v4 2/3] util: add gzreadline\r
+Date: Sun, 30 Mar 2014 14:31:39 -0300\r
+Message-Id: <1396200700-29361-3-git-send-email-david@tethera.net>\r
+X-Mailer: git-send-email 1.9.0\r
+In-Reply-To: <1396200700-29361-1-git-send-email-david@tethera.net>\r
+References: <1396200700-29361-1-git-send-email-david@tethera.net>\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Sun, 30 Mar 2014 17:32:00 -0000\r
+\r
+The idea is to provide a more or less drop in replacement for readline\r
+to read from zlib/gzip streams.  Take the opportunity to replace\r
+malloc with talloc.\r
+---\r
+ util/Makefile.local |  2 +-\r
+ util/util.h         | 12 +++++++++\r
+ util/zlib-extra.c   | 76 +++++++++++++++++++++++++++++++++++++++++++++++++++++\r
+ util/zlib-extra.h   | 11 ++++++++\r
+ 4 files changed, 100 insertions(+), 1 deletion(-)\r
+ create mode 100644 util/util.h\r
+ create mode 100644 util/zlib-extra.c\r
+ create mode 100644 util/zlib-extra.h\r
+\r
+diff --git a/util/Makefile.local b/util/Makefile.local\r
+index 29c0ce6..e2a5b65 100644\r
+--- a/util/Makefile.local\r
++++ b/util/Makefile.local\r
+@@ -4,7 +4,7 @@ dir := util\r
+ extra_cflags += -I$(srcdir)/$(dir)\r
\r
+ libutil_c_srcs := $(dir)/xutil.c $(dir)/error_util.c $(dir)/hex-escape.c \\r
+-                $(dir)/string-util.c $(dir)/talloc-extra.c\r
++                $(dir)/string-util.c $(dir)/talloc-extra.c $(dir)/zlib-extra.c\r
\r
+ libutil_modules := $(libutil_c_srcs:.c=.o)\r
\r
+diff --git a/util/util.h b/util/util.h\r
+new file mode 100644\r
+index 0000000..8663cfc\r
+--- /dev/null\r
++++ b/util/util.h\r
+@@ -0,0 +1,12 @@\r
++#ifndef _UTIL_H\r
++#define _UTIL_H\r
++\r
++typedef enum util_status {\r
++    UTIL_SUCCESS = 0,\r
++    UTIL_ERROR = 1,\r
++    UTIL_OUT_OF_MEMORY,\r
++    UTIL_EOF,\r
++    UTIL_FILE,\r
++} util_status_t;\r
++\r
++#endif\r
+diff --git a/util/zlib-extra.c b/util/zlib-extra.c\r
+new file mode 100644\r
+index 0000000..cb1eba0\r
+--- /dev/null\r
++++ b/util/zlib-extra.c\r
+@@ -0,0 +1,76 @@\r
++/* zlib-extra.c -  Extra or enhanced routines for compressed I/O.\r
++ *\r
++ * Copyright (c) 2014 David Bremner\r
++ *\r
++ * This program is free software: you can redistribute it and/or modify\r
++ * it under the terms of the GNU General Public License as published by\r
++ * the Free Software Foundation, either version 3 of the License, or\r
++ * (at your option) any later version.\r
++ *\r
++ * This program is distributed in the hope that it will be useful,\r
++ * but WITHOUT ANY WARRANTY; without even the implied warranty of\r
++ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\r
++ * GNU General Public License for more details.\r
++ *\r
++ * You should have received a copy of the GNU General Public License\r
++ * along with this program.  If not, see http://www.gnu.org/licenses/ .\r
++ *\r
++ * Author: David Bremner <david@tethera.net>\r
++ */\r
++\r
++#include "zlib-extra.h"\r
++#include <talloc.h>\r
++#include <stdio.h>\r
++#include <string.h>\r
++\r
++/* mimic POSIX/glibc getline, but on a zlib gzFile stream, and using talloc */\r
++util_status_t\r
++gz_getline (void *talloc_ctx, char **bufptr, size_t *bufsiz, ssize_t *bytes_read,\r
++          gzFile stream)\r
++{\r
++    size_t len = *bufsiz;\r
++    char *buf = *bufptr;\r
++    size_t offset = 0;\r
++\r
++    if (len == 0 || buf == NULL) {\r
++      /* same as getdelim from gnulib */\r
++      len = 120;\r
++      buf = talloc_size (talloc_ctx, len);\r
++      if (buf == NULL)\r
++          return UTIL_OUT_OF_MEMORY;\r
++    }\r
++\r
++    while (1) {\r
++      if (! gzgets (stream, buf + offset, len - offset)) {\r
++          int zlib_status = 0;\r
++          (void) gzerror (stream, &zlib_status);\r
++          switch (zlib_status) {\r
++          case Z_OK:\r
++              /* follow getline behaviour */\r
++              *bytes_read = -1;\r
++              return UTIL_EOF;\r
++              break;\r
++          case Z_ERRNO:\r
++              return UTIL_FILE;\r
++              break;\r
++          default:\r
++              return UTIL_ERROR;\r
++          }\r
++      }\r
++\r
++      offset += strlen (buf + offset);\r
++\r
++      if ( buf[offset - 1] == '\n' )\r
++          break;\r
++\r
++      len *= 2;\r
++      buf = talloc_realloc (talloc_ctx, buf, char, len);\r
++      if (buf == NULL)\r
++          return UTIL_OUT_OF_MEMORY;\r
++    }\r
++\r
++    *bufptr = buf;\r
++    *bufsiz = len;\r
++    *bytes_read = offset;\r
++    return UTIL_SUCCESS;\r
++}\r
+diff --git a/util/zlib-extra.h b/util/zlib-extra.h\r
+new file mode 100644\r
+index 0000000..ed46ac1\r
+--- /dev/null\r
++++ b/util/zlib-extra.h\r
+@@ -0,0 +1,11 @@\r
++#ifndef _ZLIB_EXTRA_H\r
++#define _ZLIB_EXTRA_H\r
++\r
++#include <zlib.h>\r
++#include "util.h"\r
++/* Like getline, but read from a gzFile. Allocation is with talloc */\r
++util_status_t\r
++gz_getline (void *ctx, char **lineptr, size_t *line_size, ssize_t *bytes_read,\r
++          gzFile stream);\r
++\r
++#endif\r
+-- \r
+1.9.0\r
+\r