Re: [Patch v3] util: add gzreadline
authorTomi Ollila <tomi.ollila@iki.fi>
Sun, 30 Mar 2014 12:45:21 +0000 (15:45 +0300)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 18:01:05 +0000 (10:01 -0800)
98/ce3445bf29489f08a4f91824b9562d2f9e29a8 [new file with mode: 0644]

diff --git a/98/ce3445bf29489f08a4f91824b9562d2f9e29a8 b/98/ce3445bf29489f08a4f91824b9562d2f9e29a8
new file mode 100644 (file)
index 0000000..02514c1
--- /dev/null
@@ -0,0 +1,214 @@
+Return-Path: <tomi.ollila@iki.fi>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id 29422431FBC\r
+       for <notmuch@notmuchmail.org>; Sun, 30 Mar 2014 05:45:45 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Spam-Flag: NO\r
+X-Spam-Score: 0\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=0 tagged_above=-999 required=5 tests=[none]\r
+       autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id U0qQ6iKf7FeU for <notmuch@notmuchmail.org>;\r
+       Sun, 30 Mar 2014 05:45:31 -0700 (PDT)\r
+Received: from guru.guru-group.fi (guru.guru-group.fi [46.183.73.34])\r
+       by olra.theworths.org (Postfix) with ESMTP id 84412431FB6\r
+       for <notmuch@notmuchmail.org>; Sun, 30 Mar 2014 05:45:31 -0700 (PDT)\r
+Received: from guru.guru-group.fi (localhost [IPv6:::1])\r
+       by guru.guru-group.fi (Postfix) with ESMTP id D4F5310005E;\r
+       Sun, 30 Mar 2014 15:45:21 +0300 (EEST)\r
+From: Tomi Ollila <tomi.ollila@iki.fi>\r
+To: David Bremner <david@tethera.net>, notmuch@notmuchmail.org\r
+Subject: Re: [Patch v3] util: add gzreadline\r
+In-Reply-To: <1396178602-7583-1-git-send-email-david@tethera.net>\r
+References: <m2zjk8um02.fsf@guru.guru-group.fi>\r
+       <1396178602-7583-1-git-send-email-david@tethera.net>\r
+User-Agent: Notmuch/0.17+171~g9a127b7 (http://notmuchmail.org) Emacs/24.3.1\r
+       (x86_64-unknown-linux-gnu)\r
+X-Face: HhBM'cA~<r"^Xv\KRN0P{vn'Y"Kd;zg_y3S[4)KSN~s?O\"QPoL\r
+       $[Xv_BD:i/F$WiEWax}R(MPS`^UaptOGD`*/=@\1lKoVa9tnrg0TW?"r7aRtgk[F\r
+       !)g;OY^,BjTbr)Np:%c_o'jj,Z\r
+Date: Sun, 30 Mar 2014 15:45:21 +0300\r
+Message-ID: <m2txafvori.fsf@guru.guru-group.fi>\r
+MIME-Version: 1.0\r
+Content-Type: text/plain\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Sun, 30 Mar 2014 12:45:45 -0000\r
+\r
+On Sun, Mar 30 2014, David Bremner <david@tethera.net> wrote:\r
+\r
+> The idea is to provide a more or less drop in replacement for readline\r
+> to read from zlib/gzip streams.  Take the opportunity to replace\r
+> malloc with talloc.\r
+> ---\r
+>\r
+> This corrects one nasty bug, and a few style/optimization issues brought up by Tomi.\r
+>\r
+> I'm not sure about the name. I agree in principle it would be good to\r
+> signal "talloc". I'm just not sure the best way to do that.\r
+\r
+how about just gz_getline(). If there were gzgetline() one would expect it's\r
+function "signature" be gzgetline(char **lineptr, size_t *m gzFile *stream);\r
+(consistent with other '' -> gz'' conversions). for gz_getline() there\r
+would be no expectations.\r
+\r
+>\r
+> I'm also not sure about the error handling. the "real" getline sets\r
+> errno. Should we?\r
+\r
+In comparison with gzgets() return value\r
+\r
+"On success, gzgets() shall return a pointer to buf. Otherwise, gzgets()\r
+"shall return Z_NULL. Applications may examine the cause using gzerror().\r
+"\r
+"Errors\r
+"\r
+"On error, gzgets() shall return Z_NULL.\r
+\r
+In light of this I'd say no. can we set out-of-memory using some public\r
+api so it is available using gzerror()\r
+\r
+\r
+Rest of the style issues inline ;p\r
+\r
+Tomi\r
+\r
+>\r
+>  util/Makefile.local |  2 +-\r
+>  util/zlib-extra.c   | 62 +++++++++++++++++++++++++++++++++++++++++++++++++++++\r
+>  util/zlib-extra.h   | 10 +++++++++\r
+>  3 files changed, 73 insertions(+), 1 deletion(-)\r
+>  create mode 100644 util/zlib-extra.c\r
+>  create mode 100644 util/zlib-extra.h\r
+>\r
+> diff --git a/util/Makefile.local b/util/Makefile.local\r
+> index 29c0ce6..e2a5b65 100644\r
+> --- a/util/Makefile.local\r
+> +++ b/util/Makefile.local\r
+> @@ -4,7 +4,7 @@ dir := util\r
+>  extra_cflags += -I$(srcdir)/$(dir)\r
+>  \r
+>  libutil_c_srcs := $(dir)/xutil.c $(dir)/error_util.c $(dir)/hex-escape.c \\r
+> -              $(dir)/string-util.c $(dir)/talloc-extra.c\r
+> +              $(dir)/string-util.c $(dir)/talloc-extra.c $(dir)/zlib-extra.c\r
+>  \r
+>  libutil_modules := $(libutil_c_srcs:.c=.o)\r
+>  \r
+> diff --git a/util/zlib-extra.c b/util/zlib-extra.c\r
+> new file mode 100644\r
+> index 0000000..7afe175\r
+> --- /dev/null\r
+> +++ b/util/zlib-extra.c\r
+> @@ -0,0 +1,62 @@\r
+> +/* zlib-extra.c -  Extra or enhanced routines for compressed I/O.\r
+> + *\r
+> + * Copyright (c) 2014 David Bremner\r
+> + *\r
+> + * This program is free software: you can redistribute it and/or modify\r
+> + * it under the terms of the GNU General Public License as published by\r
+> + * the Free Software Foundation, either version 3 of the License, or\r
+> + * (at your option) any later version.\r
+> + *\r
+> + * This program is distributed in the hope that it will be useful,\r
+> + * but WITHOUT ANY WARRANTY; without even the implied warranty of\r
+> + * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the\r
+> + * GNU General Public License for more details.\r
+> + *\r
+> + * You should have received a copy of the GNU General Public License\r
+> + * along with this program.  If not, see http://www.gnu.org/licenses/ .\r
+> + *\r
+> + * Author: David Bremner <david@tethera.net>\r
+> + */\r
+> +\r
+> +#include "zlib-extra.h"\r
+> +#include <talloc.h>\r
+> +#include <stdio.h>\r
+> +#include <string.h>\r
+> +\r
+> +/* mimic POSIX/glibc getline, but on a zlib gzFile stream, and using talloc */\r
+> +ssize_t\r
+> +gzgetline (void *ctx, char **lineptr, size_t *n, gzFile stream) {\r
+> +\r
+\r
+opening brace ({) starting function content to it's own line.\r
+\r
+> +    size_t len = *n;\r
+> +    char *buf = *lineptr;\r
+> +    size_t offset = 0;\r
+> +\r
+> +    if (len == 0 || buf == NULL) {\r
+> +    /* same as getdelim from gnulib */\r
+> +    len = 120;\r
+> +    buf = talloc_size (ctx, len);\r
+> +    if (buf == NULL)\r
+> +        return -1;\r
+> +    }\r
+> +\r
+> +    while (1) {\r
+> +\r
+\r
+extra empty line ?\r
+\r
+> +    if (!gzgets (stream, buf + offset, len - offset))\r
+\r
+! gzgets\r
+\r
+> +        return -1;\r
+> +\r
+> +    offset += strlen (buf+offset);\r
+\r
+(buf + offset)\r
+\r
+> +\r
+> +    if ( buf[offset-1] == '\n' )\r
+\r
+[ offset - 1 ]\r
+\r
+> +        break;\r
+> +\r
+> +    len *= 2;\r
+> +    buf = talloc_realloc (ctx, buf, char, len);\r
+> +    if (buf == NULL)\r
+> +        return -1;\r
+> +\r
+\r
+extra empty line\r
+\r
+> +    }\r
+> +\r
+> +    *lineptr = buf;\r
+> +    *n = len;\r
+> +    return offset;\r
+> +}\r
+> diff --git a/util/zlib-extra.h b/util/zlib-extra.h\r
+> new file mode 100644\r
+> index 0000000..c18480f\r
+> --- /dev/null\r
+> +++ b/util/zlib-extra.h\r
+> @@ -0,0 +1,10 @@\r
+> +#ifndef _ZLIB_EXTRA_H\r
+> +#define _ZLIB_EXTRA_H\r
+> +\r
+> +#include <zlib.h>\r
+> +\r
+> +/* Like getline, but read from a gzFile. Allocation is with talloc */\r
+> +ssize_t\r
+> +gzgetline (void *ctx, char **lineptr, size_t *n, gzFile stream);\r
+> +\r
+> +#endif\r
+> -- \r
+> 1.9.0\r