[PATCH 08/11] cli/insert: rehash file writing functions
authorJani Nikula <jani@nikula.org>
Mon, 22 Sep 2014 09:54:59 +0000 (11:54 +0200)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 18:04:39 +0000 (10:04 -0800)
4a/abcbb36bc51a9e916529af361ee21de86448cd [new file with mode: 0644]

diff --git a/4a/abcbb36bc51a9e916529af361ee21de86448cd b/4a/abcbb36bc51a9e916529af361ee21de86448cd
new file mode 100644 (file)
index 0000000..c8a8c1a
--- /dev/null
@@ -0,0 +1,269 @@
+Return-Path: <jani@nikula.org>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id 156DD431FC0\r
+       for <notmuch@notmuchmail.org>; Mon, 22 Sep 2014 02:55:20 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Amavis-Alert: BAD HEADER SECTION, Duplicate header field: "References"\r
+X-Spam-Flag: NO\r
+X-Spam-Score: -0.7\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
+       tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id Nhtc693K3gC1 for <notmuch@notmuchmail.org>;\r
+       Mon, 22 Sep 2014 02:55:11 -0700 (PDT)\r
+Received: from mail-wg0-f49.google.com (mail-wg0-f49.google.com\r
+ [74.125.82.49])       (using TLSv1 with cipher RC4-SHA (128/128 bits))        (No client\r
+ certificate requested)        by olra.theworths.org (Postfix) with ESMTPS id\r
+ B8204431FDF   for <notmuch@notmuchmail.org>; Mon, 22 Sep 2014 02:54:59 -0700\r
+ (PDT)\r
+Received: by mail-wg0-f49.google.com with SMTP id x12so2366252wgg.32\r
+       for <notmuch@notmuchmail.org>; Mon, 22 Sep 2014 02:54:58 -0700 (PDT)\r
+X-Google-DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed;\r
+       d=1e100.net; s=20130820;\r
+       h=x-gm-message-state:from:to:cc:subject:date:message-id:in-reply-to\r
+       :references:in-reply-to:references;\r
+       bh=3bVqcdDhIySrRRRi4bCUdGBrxsSnSBjKxj6MAQxsjS0=;\r
+       b=RfSkh8JZ6gVTbELKbOVK/ffVm0TrloUC//BU1zimdPfLcVyBn7qAHeP8s8SCAd3kbX\r
+       Odt6qh2vg2uPA1V27wdoFeU7AfB5MD3Eq0o765/W1nQKcfQCSPaoK+ppcxAiA0w+MuEI\r
+       cMgfJjbKoX37VD0d6rJjEVubrN4gF/ZxRpk3KwqFD1Bsl81Zo58e/9HRAWmoe5vTT4Wx\r
+       8vjUgYEMr/pKySTMMgZA5UIZEBLlIExXHe+DPjq8cA4IyrmZtxSEljEyqmG30fwbdEyj\r
+       WEuIGmEIKrFbqeP5SqxpfQ9i/6JUqaqjC6TPVxmqOD2CEwpQkEfa8wTCL/dshbaRk1HB\r
+       Id9Q==\r
+X-Gm-Message-State:\r
+ ALoCoQnRQVpFWPOgxEBHRuNvbtpG6I88MzoSvV3TYC/mwRUwhVr0OQoMzTaw701qJ6zv8Coh96K3\r
+X-Received: by 10.180.99.34 with SMTP id en2mr14438687wib.34.1411379698621;\r
+       Mon, 22 Sep 2014 02:54:58 -0700 (PDT)\r
+Received: from localhost ([2001:4b98:dc0:43:216:3eff:fe1b:25f3])\r
+       by mx.google.com with ESMTPSA id e5sm5748146wiw.2.2014.09.22.02.54.57\r
+       for <multiple recipients>\r
+       (version=TLSv1.1 cipher=RC4-SHA bits=128/128);\r
+       Mon, 22 Sep 2014 02:54:58 -0700 (PDT)\r
+From: Jani Nikula <jani@nikula.org>\r
+To: notmuch@notmuchmail.org\r
+Subject: [PATCH 08/11] cli/insert: rehash file writing functions\r
+Date: Mon, 22 Sep 2014 11:54:59 +0200\r
+Message-Id:\r
+ <db771a008661ab5205dc4749206bc7515950f9e3.1411379395.git.jani@nikula.org>\r
+X-Mailer: git-send-email 1.7.2.5\r
+In-Reply-To: <cover.1411379395.git.jani@nikula.org>\r
+References: <cover.1411379395.git.jani@nikula.org>\r
+In-Reply-To: <cover.1411379395.git.jani@nikula.org>\r
+References: <cover.1411379395.git.jani@nikula.org>\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Mon, 22 Sep 2014 09:55:20 -0000\r
+\r
+Make the function calls make more sense as independent building blocks\r
+of the big picture, with clear inputs and outputs. Split up\r
+write_message into two. Improve function documentation. Cleanup and\r
+clarify the error paths.\r
+---\r
+ notmuch-insert.c |  127 ++++++++++++++++++++++++++++++++----------------------\r
+ 1 files changed, 75 insertions(+), 52 deletions(-)\r
+\r
+diff --git a/notmuch-insert.c b/notmuch-insert.c\r
+index a1d564c..5ef6e66 100644\r
+--- a/notmuch-insert.c\r
++++ b/notmuch-insert.c\r
+@@ -204,47 +204,37 @@ tempfilename (const void *ctx)\r
+     return filename;\r
+ }\r
\r
+-/* Open a unique file in the 'tmp' sub-directory of dir.\r
+- * Returns the file descriptor on success, or -1 on failure.\r
+- * On success, file paths for the message in the 'tmp' and 'new'\r
+- * directories are returned via tmppath and newpath,\r
+- * and the path of the 'new' directory itself in newdir. */\r
++/*\r
++ * Create a unique temporary file in maildir/tmp, return fd and full\r
++ * path to file in *path_out, or -1 on errors (in which case *path_out\r
++ * is not touched).\r
++ */\r
+ static int\r
+-maildir_open_tmp_file (void *ctx, const char *dir,\r
+-                     char **tmppath, char **newpath, char **newdir)\r
++maildir_mktemp (const void *ctx, const char *maildir, char **path_out)\r
+ {\r
+-    char *filename;\r
+-    int fd = -1;\r
++    char *filename, *path;\r
++    int fd;\r
\r
+     do {\r
+       filename = tempfilename (ctx);\r
+       if (! filename)\r
+           return -1;\r
\r
+-      *tmppath = talloc_asprintf (ctx, "%s/tmp/%s", dir, filename);\r
+-      if (! *tmppath) {\r
+-          fprintf (stderr, "Out of memory\n");\r
++      path = talloc_asprintf (ctx, "%s/tmp/%s", maildir, filename);\r
++      if (! path) {\r
++          fprintf (stderr, "Error: %s\n", strerror (ENOMEM));\r
+           return -1;\r
+       }\r
\r
+-      fd = open (*tmppath, O_WRONLY | O_CREAT | O_TRUNC | O_EXCL, 0600);\r
++      fd = open (path, O_WRONLY | O_CREAT | O_TRUNC | O_EXCL, 0600);\r
+     } while (fd == -1 && errno == EEXIST);\r
\r
+     if (fd == -1) {\r
+-      fprintf (stderr, "Error: opening %s: %s\n", *tmppath, strerror (errno));\r
++      fprintf (stderr, "Error: open '%s': %s\n", path, strerror (errno));\r
+       return -1;\r
+     }\r
\r
+-    *newdir = talloc_asprintf (ctx, "%s/new", dir);\r
+-    *newpath = talloc_asprintf (ctx, "%s/new/%s", dir, filename);\r
+-    if (! *newdir || ! *newpath) {\r
+-      fprintf (stderr, "Out of memory\n");\r
+-      close (fd);\r
+-      unlink (*tmppath);\r
+-      return -1;\r
+-    }\r
+-\r
+-    talloc_free (filename);\r
++    *path_out = path;\r
\r
+     return fd;\r
+ }\r
+@@ -293,53 +283,85 @@ copy_fd (int fdout, int fdin)\r
+     return (!interrupted && !empty);\r
+ }\r
\r
+-static notmuch_bool_t\r
+-write_message (void *ctx, int fdin, const char *dir, char **newpath)\r
++/*\r
++ * Write fdin to a new temp file in maildir/tmp, return full path to\r
++ * the file, or NULL on errors.\r
++ */\r
++static char *\r
++maildir_write_tmp (const void *ctx, int fdin, const char *maildir)\r
+ {\r
+-    char *tmppath;\r
+-    char *newdir;\r
+-    char *cleanup_path;\r
++    char *path;\r
+     int fdout;\r
\r
+-    fdout = maildir_open_tmp_file (ctx, dir, &tmppath, newpath, &newdir);\r
++    fdout = maildir_mktemp (ctx, maildir, &path);\r
+     if (fdout < 0)\r
+-      return FALSE;\r
+-\r
+-    cleanup_path = tmppath;\r
++      return NULL;\r
\r
+     if (! copy_fd (fdout, fdin))\r
+       goto FAIL;\r
\r
+-    if (fsync (fdout) != 0) {\r
+-      fprintf (stderr, "Error: fsync failed: %s\n", strerror (errno));\r
++    if (fsync (fdout)) {\r
++      fprintf (stderr, "Error: fsync '%s': %s\n", path, strerror (errno));\r
+       goto FAIL;\r
+     }\r
\r
+     close (fdout);\r
+-    fdout = -1;\r
+-\r
+-    /* Atomically move the new message file from the Maildir 'tmp' directory\r
+-     * to the 'new' directory.  We follow the Dovecot recommendation to\r
+-     * simply use rename() instead of link() and unlink().\r
+-     * See also: http://wiki.dovecot.org/MailboxFormat/Maildir#Mail_delivery\r
+-     */\r
+-    if (rename (tmppath, *newpath) != 0) {\r
+-      fprintf (stderr, "Error: rename() failed: %s\n", strerror (errno));\r
++\r
++    return path;\r
++\r
++FAIL:\r
++    close (fdout);\r
++    unlink (path);\r
++\r
++    return NULL;\r
++}\r
++\r
++/*\r
++ * Write fdin to a new file in maildir/new, using an intermediate temp\r
++ * file in maildir/tmp, return full path to the new file, or NULL on\r
++ * errors.\r
++ */\r
++static char *\r
++maildir_write_new (const void *ctx, int fdin, const char *maildir)\r
++{\r
++    char *cleanpath, *tmppath, *newpath, *newdir;\r
++\r
++    tmppath = maildir_write_tmp (ctx, fdin, maildir);\r
++    if (! tmppath)\r
++      return NULL;\r
++    cleanpath = tmppath;\r
++\r
++    newpath = talloc_strdup (ctx, tmppath);\r
++    if (! newpath) {\r
++      fprintf (stderr, "Error: %s\n", strerror (ENOMEM));\r
+       goto FAIL;\r
+     }\r
\r
+-    cleanup_path = *newpath;\r
++    /* sanity checks needed? */\r
++    memcpy (newpath + strlen (maildir) + 1, "new", 3);\r
++\r
++    if (rename (tmppath, newpath)) {\r
++      fprintf (stderr, "Error: rename '%s' '%s': %s\n",\r
++               tmppath, newpath, strerror (errno));\r
++      goto FAIL;\r
++    }\r
++    cleanpath = newpath;\r
++\r
++    newdir = talloc_asprintf (ctx, "%s/%s", maildir, "new");\r
++    if (! newdir) {\r
++      fprintf (stderr, "Error: %s\n", strerror (ENOMEM));\r
++      goto FAIL;\r
++    }\r
\r
+     if (! sync_dir (newdir))\r
+       goto FAIL;\r
\r
+-    return TRUE;\r
++    return newpath;\r
++\r
++FAIL:\r
++    unlink (cleanpath);\r
\r
+-  FAIL:\r
+-    if (fdout >= 0)\r
+-      close (fdout);\r
+-    unlink (cleanup_path);\r
+-    return FALSE;\r
++    return NULL;\r
+ }\r
\r
+ /* Add the specified message file to the notmuch database, applying tags.\r
+@@ -477,7 +499,8 @@ notmuch_insert_command (notmuch_config_t *config, int argc, char *argv[])\r
+       return EXIT_FAILURE;\r
\r
+     /* Write the message to the Maildir new directory. */\r
+-    if (! write_message (config, STDIN_FILENO, maildir, &newpath)) {\r
++    newpath = maildir_write_new (config, STDIN_FILENO, maildir);\r
++    if (! newpath) {\r
+       notmuch_database_destroy (notmuch);\r
+       return EXIT_FAILURE;\r
+     }\r
+-- \r
+1.7.2.5\r
+\r