c8/f84fff91117e2876eec814dd8fd53aa6bf6cf5

   1 Return-Path: <amdragon@mit.edu>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id CB113431FCF\r
   6         for <notmuch@notmuchmail.org>; Thu, 24 May 2012 15:01:24 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.7\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
  12         tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id K4UuqnPAvr5r for <notmuch@notmuchmail.org>;\r
  16         Thu, 24 May 2012 15:01:23 -0700 (PDT)\r
  17 Received: from dmz-mailsec-scanner-1.mit.edu (DMZ-MAILSEC-SCANNER-1.MIT.EDU\r
  18         [18.9.25.12])\r
  19         by olra.theworths.org (Postfix) with ESMTP id 0B502431FC3\r
  20         for <notmuch@notmuchmail.org>; Thu, 24 May 2012 15:01:22 -0700 (PDT)\r
  21 X-AuditID: 1209190c-b7fad6d000000920-98-4fbeafb20d2f\r
  22 Received: from mailhub-auth-3.mit.edu ( [18.9.21.43])\r
  23         by dmz-mailsec-scanner-1.mit.edu (Symantec Messaging Gateway) with SMTP\r
  24         id 04.7B.02336.2BFAEBF4; Thu, 24 May 2012 18:01:22 -0400 (EDT)\r
  25 Received: from outgoing.mit.edu (OUTGOING-AUTH.MIT.EDU [18.7.22.103])\r
  26         by mailhub-auth-3.mit.edu (8.13.8/8.9.2) with ESMTP id q4OM1Mcp018141; \r
  27         Thu, 24 May 2012 18:01:22 -0400\r
  28 Received: from drake.mit.edu (26-4-163.dynamic.csail.mit.edu [18.26.4.163])\r
  29         (authenticated bits=0)\r
  30         (User authenticated as amdragon@ATHENA.MIT.EDU)\r
  31         by outgoing.mit.edu (8.13.6/8.12.4) with ESMTP id q4OM1LtJ009159\r
  32         (version=TLSv1/SSLv3 cipher=AES256-SHA bits=256 verify=NOT);\r
  33         Thu, 24 May 2012 18:01:22 -0400 (EDT)\r
  34 Received: from amthrax by drake.mit.edu with local (Exim 4.77)\r
  35         (envelope-from <amdragon@mit.edu>)\r
  36         id 1SXg5v-00064W-MR; Thu, 24 May 2012 18:01:19 -0400\r
  37 From: Austin Clements <amdragon@MIT.EDU>\r
  38 To: notmuch@notmuchmail.org\r
  39 Subject: [PATCH v4 2/4] new: Centralize file type stat-ing logic\r
  40 Date: Thu, 24 May 2012 18:01:11 -0400\r
  41 Message-Id: <1337896873-23253-3-git-send-email-amdragon@mit.edu>\r
  42 X-Mailer: git-send-email 1.7.10\r
  43 In-Reply-To: <1337896873-23253-1-git-send-email-amdragon@mit.edu>\r
  44 References: <1337887922-13163-1-git-send-email-amdragon@mit.edu>\r
  45         <1337896873-23253-1-git-send-email-amdragon@mit.edu>\r
  46 X-Brightmail-Tracker:\r
  47  H4sIAAAAAAAAA+NgFtrIIsWRmVeSWpSXmKPExsUixCmqrbtp/T5/g38HVCyu35zJ7MDo8WzV\r
  48         LeYAxigum5TUnMyy1CJ9uwSujLebv7IXXDKqaHi6gr2BcaF6FyMnh4SAicTUv9+ZIGwxiQv3\r
  49         1rN1MXJxCAnsY5Q433yWGcLZwCixcmcXE4RznEli5u9/bCAtQgKzGCWuP5MCsdkENCS27V/O\r
  50         CGKLCEhL7Lw7m7WLkYODWUBN4k+XCkhYWMBB4vPD/6wgNouAqsSP3h8sICW8QPGpq7MhjpCX\r
  51         eHq/D2w6p4CjxOOzvxghNpVLXL4xl2UCI/8CRoZVjLIpuVW6uYmZOcWpybrFyYl5ealFuoZ6\r
  52         uZkleqkppZsYwSEjybOD8c1BpUOMAhyMSjy8zNH7/IVYE8uKK3MPMUpyMCmJ8v5YDRTiS8pP\r
  53         qcxILM6ILyrNSS0+xCjBwawkwisYCZTjTUmsrEotyodJSXOwKInzrtTc7S8kkJ5YkpqdmlqQ\r
  54         WgSTleHgUJLgPbgOqFGwKDU9tSItM6cEIc3EwQkynAdo+GeQGt7igsTc4sx0iPwpRkUpcd4n\r
  55         IAkBkERGaR5cLyymXzGKA70izPsdpIoHmA7gul8BDWYCGrzl8V6QwSWJCCmpBkaHD+pKwWsE\r
  56         LY4/LTe7OatjUvK03kUiT1s6bQ7MWWT6YsXOGrO2I9XTl6ue91XeUzt962KjYEelx6aXvO+c\r
  57         2bFzi09qklNqXVhTJq/l1PbHyi+65t99waM7VdAr86NL4NQbd697TmXrag5Yb57JL9x1uWbB\r
  58         ZzajXoWe0+wT+lkS7P07pvDv363EUpyRaKjFXFScCAAuaQe2xAIAAA==\r
  59 X-BeenThere: notmuch@notmuchmail.org\r
  60 X-Mailman-Version: 2.1.13\r
  61 Precedence: list\r
  62 List-Id: "Use and development of the notmuch mail system."\r
  63         <notmuch.notmuchmail.org>\r
  64 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  65         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  66 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  67 List-Post: <mailto:notmuch@notmuchmail.org>\r
  68 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  69 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  70         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  71 X-List-Received-Date: Thu, 24 May 2012 22:01:25 -0000\r
  72 \r
  73 This moves our logic to get a file's type into one function.  This has\r
  74 several benefits: we can support OSes and file systems that do not\r
  75 provide dirent.d_type or always return DT_UNKNOWN, complex\r
  76 symlink-handling logic has been replaced by a simple stat fall-through\r
  77 in one place, and the error message for un-stat-able file is more\r
  78 accurate (previously, the error always mentioned directories, even\r
  79 though a broken symlink is not a directory).\r
  80 ---\r
  81  notmuch-new.c |  103 +++++++++++++++++++++++++++++++++++----------------------\r
  82  test/new      |    2 +-\r
  83  2 files changed, 64 insertions(+), 41 deletions(-)\r
  84 \r
  85 diff --git a/notmuch-new.c b/notmuch-new.c\r
  86 index 72dd558..c64f1a7 100644\r
  87 --- a/notmuch-new.c\r
  88 +++ b/notmuch-new.c\r
  89 @@ -154,6 +154,48 @@ dirent_sort_strcmp_name (const struct dirent **a, const struct dirent **b)\r
  90      return strcmp ((*a)->d_name, (*b)->d_name);\r
  91  }\r
  92  \r
  93 +/* Return the type of a directory entry relative to path as a stat(2)\r
  94 + * mode.  Like stat, this follows symlinks.  Returns -1 and sets errno\r
  95 + * if the file's type cannot be determined (which includes dangling\r
  96 + * symlinks).\r
  97 + */\r
  98 +static int\r
  99 +dirent_type (const char *path, const struct dirent *entry)\r
 100 +{\r
 101 +    struct stat statbuf;\r
 102 +    char *abspath;\r
 103 +    int err, saved_errno;\r
 104 +\r
 105 +#ifdef _DIRENT_HAVE_D_TYPE\r
 106 +    /* Mapping from d_type to stat mode_t.  We omit DT_LNK so that\r
 107 +     * we'll fall through to stat and get the real file type. */\r
 108 +    static const mode_t modes[] = {\r
 109 +       [DT_BLK]  = S_IFBLK,\r
 110 +       [DT_CHR]  = S_IFCHR,\r
 111 +       [DT_DIR]  = S_IFDIR,\r
 112 +       [DT_FIFO] = S_IFIFO,\r
 113 +       [DT_REG]  = S_IFREG,\r
 114 +       [DT_SOCK] = S_IFSOCK\r
 115 +    };\r
 116 +    if (entry->d_type < ARRAY_SIZE(modes) && modes[entry->d_type])\r
 117 +       return modes[entry->d_type];\r
 118 +#endif\r
 119 +\r
 120 +    abspath = talloc_asprintf (NULL, "%s/%s", path, entry->d_name);\r
 121 +    if (!abspath) {\r
 122 +       errno = ENOMEM;\r
 123 +       return -1;\r
 124 +    }\r
 125 +    err = stat(abspath, &statbuf);\r
 126 +    saved_errno = errno;\r
 127 +    talloc_free (abspath);\r
 128 +    if (err < 0) {\r
 129 +       errno = saved_errno;\r
 130 +       return -1;\r
 131 +    }\r
 132 +    return statbuf.st_mode & S_IFMT;\r
 133 +}\r
 134 +\r
 135  /* Test if the directory looks like a Maildir directory.\r
 136   *\r
 137   * Search through the array of directory entries to see if we can find all\r
 138 @@ -162,12 +204,12 @@ dirent_sort_strcmp_name (const struct dirent **a, const struct dirent **b)\r
 139   * Return 1 if the directory looks like a Maildir and 0 otherwise.\r
 140   */\r
 141  static int\r
 142 -_entries_resemble_maildir (struct dirent **entries, int count)\r
 143 +_entries_resemble_maildir (const char *path, struct dirent **entries, int count)\r
 144  {\r
 145      int i, found = 0;\r
 146  \r
 147      for (i = 0; i < count; i++) {\r
 148 -       if (entries[i]->d_type != DT_DIR && entries[i]->d_type != DT_UNKNOWN)\r
 149 +       if (dirent_type (path, entries[i]) != S_IFDIR)\r
 150             continue;\r
 151  \r
 152         if (strcmp(entries[i]->d_name, "new") == 0 ||\r
 153 @@ -250,7 +292,7 @@ add_files_recursive (notmuch_database_t *notmuch,\r
 154      notmuch_status_t status, ret = NOTMUCH_STATUS_SUCCESS;\r
 155      notmuch_message_t *message = NULL;\r
 156      struct dirent **fs_entries = NULL;\r
 157 -    int i, num_fs_entries = 0;\r
 158 +    int i, num_fs_entries = 0, entry_type;\r
 159      notmuch_directory_t *directory;\r
 160      notmuch_filenames_t *db_files = NULL;\r
 161      notmuch_filenames_t *db_subdirs = NULL;\r
 162 @@ -300,7 +342,7 @@ add_files_recursive (notmuch_database_t *notmuch,\r
 163      }\r
 164  \r
 165      /* Pass 1: Recurse into all sub-directories. */\r
 166 -    is_maildir = _entries_resemble_maildir (fs_entries, num_fs_entries);\r
 167 +    is_maildir = _entries_resemble_maildir (path, fs_entries, num_fs_entries);\r
 168  \r
 169      for (i = 0; i < num_fs_entries; i++) {\r
 170         if (interrupted)\r
 171 @@ -308,17 +350,16 @@ add_files_recursive (notmuch_database_t *notmuch,\r
 172  \r
 173         entry = fs_entries[i];\r
 174  \r
 175 -       /* We only want to descend into directories.\r
 176 -        * But symlinks can be to directories too, of course.\r
 177 -        *\r
 178 -        * And if the filesystem doesn't tell us the file type in the\r
 179 -        * scandir results, then it might be a directory (and if not,\r
 180 -        * then we'll stat and return immediately in the next level of\r
 181 -        * recursion). */\r
 182 -       if (entry->d_type != DT_DIR &&\r
 183 -           entry->d_type != DT_LNK &&\r
 184 -           entry->d_type != DT_UNKNOWN)\r
 185 -       {\r
 186 +       /* We only want to descend into directories (and symlinks to\r
 187 +        * directories). */\r
 188 +       entry_type = dirent_type (path, entry);\r
 189 +       if (entry_type == -1) {\r
 190 +           /* Be pessimistic, e.g. so we don't lose lots of mail just\r
 191 +            * because a user broke a symlink. */\r
 192 +           fprintf (stderr, "Error reading file %s/%s: %s\n",\r
 193 +                    path, entry->d_name, strerror (errno));\r
 194 +           return NOTMUCH_STATUS_FILE_ERROR;\r
 195 +       } else if (entry_type != S_IFDIR) {\r
 196             continue;\r
 197         }\r
 198  \r
 199 @@ -407,31 +448,13 @@ add_files_recursive (notmuch_database_t *notmuch,\r
 200             notmuch_filenames_move_to_next (db_subdirs);\r
 201         }\r
 202  \r
 203 -       /* If we're looking at a symlink, we only want to add it if it\r
 204 -        * links to a regular file, (and not to a directory, say).\r
 205 -        *\r
 206 -        * Similarly, if the file is of unknown type (due to filesystem\r
 207 -        * limitations), then we also need to look closer.\r
 208 -        *\r
 209 -        * In either case, a stat does the trick.\r
 210 -        */\r
 211 -       if (entry->d_type == DT_LNK || entry->d_type == DT_UNKNOWN) {\r
 212 -           int err;\r
 213 -\r
 214 -           next = talloc_asprintf (notmuch, "%s/%s", path, entry->d_name);\r
 215 -           err = stat (next, &st);\r
 216 -           talloc_free (next);\r
 217 -           next = NULL;\r
 218 -\r
 219 -           /* Don't emit an error for a link pointing nowhere, since\r
 220 -            * the directory-traversal pass will have already done\r
 221 -            * that. */\r
 222 -           if (err)\r
 223 -               continue;\r
 224 -\r
 225 -           if (! S_ISREG (st.st_mode))\r
 226 -               continue;\r
 227 -       } else if (entry->d_type != DT_REG) {\r
 228 +       /* Only add regular files (and symlinks to regular files). */\r
 229 +       entry_type = dirent_type (path, entry);\r
 230 +       if (entry_type == -1) {\r
 231 +           fprintf (stderr, "Error reading file %s/%s: %s\n",\r
 232 +                    path, entry->d_name, strerror (errno));\r
 233 +           return NOTMUCH_STATUS_FILE_ERROR;\r
 234 +       } else if (entry_type != S_IFREG) {\r
 235             continue;\r
 236         }\r
 237  \r
 238 diff --git a/test/new b/test/new\r
 239 index a7bc146..cab7c01 100755\r
 240 --- a/test/new\r
 241 +++ b/test/new\r
 242 @@ -140,7 +140,7 @@ test_begin_subtest "Broken symlink aborts"\r
 243  ln -s does-not-exist "${MAIL_DIR}/broken"\r
 244  output=$(NOTMUCH_NEW 2>&1)\r
 245  test_expect_equal "$output" \\r
 246 -"Error reading directory ${MAIL_DIR}/broken: No such file or directory\r
 247 +"Error reading file ${MAIL_DIR}/broken: No such file or directory\r
 248  Note: A fatal error was encountered: Something went wrong trying to read or write a file\r
 249  No new mail."\r
 250  rm "${MAIL_DIR}/broken"\r
 251 -- \r
 252 1.7.10\r
 253 \r