fa/a9dc5fa725bede5143c1f524929d918ce1ac82

   1 Return-Path: <thomas@schwinge.name>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id E6E61429E21\r
   6         for <notmuch@notmuchmail.org>; Thu, 27 Oct 2011 04:13:00 -0700 (PDT)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: 0\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=0 tagged_above=-999 required=5\r
  12         tests=[RCVD_IN_DNSWL_NONE=-0.0001] autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id b5-7dvZhQczV for <notmuch@notmuchmail.org>;\r
  16         Thu, 27 Oct 2011 04:13:00 -0700 (PDT)\r
  17 Received: from smtprelay03.ispgateway.de (smtprelay03.ispgateway.de\r
  18         [80.67.31.37])\r
  19         by olra.theworths.org (Postfix) with ESMTP id F2D05431FB6\r
  20         for <notmuch@notmuchmail.org>; Thu, 27 Oct 2011 04:12:59 -0700 (PDT)\r
  21 Received: from [87.180.87.168] (helo=stokes.schwinge.homeip.net)\r
  22         by smtprelay03.ispgateway.de with esmtpa (Exim 4.68)\r
  23         (envelope-from <thomas@schwinge.name>) id 1RJNtI-0007SR-Tg\r
  24         for notmuch@notmuchmail.org; Thu, 27 Oct 2011 13:12:57 +0200\r
  25 Received: (qmail 30953 invoked from network); 27 Oct 2011 11:12:52 -0000\r
  26 Received: from kepler.schwinge.homeip.net (192.168.111.7)\r
  27         by stokes.schwinge.homeip.net with QMQP; 27 Oct 2011 11:12:52 -0000\r
  28 Received: (nullmailer pid 2292 invoked by uid 1000);\r
  29         Thu, 27 Oct 2011 11:12:52 -0000\r
  30 From: Thomas Schwinge <thomas@schwinge.name>\r
  31 To: notmuch@notmuchmail.org\r
  32 Subject: Austin's custom query parser: folder/directory searching, some\r
  33  numbers\r
  34 User-Agent: Notmuch/0.9-101-g81dad07 (http://notmuchmail.org) Emacs/23.3.1\r
  35         (i486-pc-linux-gnu)\r
  36 Date: Thu, 27 Oct 2011 13:12:46 +0200\r
  37 Message-ID: <87mxcmbscx.fsf@kepler.schwinge.homeip.net>\r
  38 MIME-Version: 1.0\r
  39 Content-Type: multipart/signed; boundary="=-=-=";\r
  40         micalg=pgp-sha1; protocol="application/pgp-signature"\r
  41 X-Df-Sender: dGhvbWFzQHNjaHdpbmdlLm5hbWU=\r
  42 Cc: Austin Clements <amdragon@mit.edu>\r
  43 X-BeenThere: notmuch@notmuchmail.org\r
  44 X-Mailman-Version: 2.1.13\r
  45 Precedence: list\r
  46 List-Id: "Use and development of the notmuch mail system."\r
  47         <notmuch.notmuchmail.org>\r
  48 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  49         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  50 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  51 List-Post: <mailto:notmuch@notmuchmail.org>\r
  52 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  53 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  54         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  55 X-List-Received-Date: Thu, 27 Oct 2011 11:13:01 -0000\r
  56 \r
  57 --=-=-=\r
  58 Content-Type: text/plain; charset=utf-8\r
  59 Content-Transfer-Encoding: quoted-printable\r
  60 \r
  61 Hi!\r
  62 \r
  63 As I already told on IRC (and which I still have to polish and\r
  64 publish...), I recently merged Austin's custom query parser into my local\r
  65 tree, mainly (for now) for its exact folder/directory searching\r
  66 capabilities.\r
  67 \r
  68 Austin had published this work several months ago, and Carl in the mean\r
  69 time had implemented his own folder: searches.  Now, there was a conflict\r
  70 about which to use; they have different semantics, Carl's being\r
  71 inadequate for my use case (not rooted, for example).  On IRC, Carl\r
  72 recently had the most pragmatic solution for how to approach this: if we\r
  73 can't agree on having either his folder: semantics, or Austin's strict\r
  74 filename matching -- then just have both of them.  So I now have arranged\r
  75 for having both Carl's folder: (with it's ``weak'' mail folder\r
  76 semantics), and also Austin's directory: (with it's ``hard''\r
  77 directory/filename matching semantics), and on top of the latter\r
  78 implemented rdirectory: which extends directory: by recursive matching.\r
  79 This works really nice.\r
  80 \r
  81 \r
  82 IRC, freenode, #notmuch, 2011-09-30:\r
  83 \r
  84     <amdragon> tschwinge: Before you get in too deep I should point out\r
  85       that there's a (not unsurmountable) flaw in the folder handling.\r
  86       Because it expands to all of the desired dir-entry terms, it can\r
  87       chew up a huge amount of memory (~50K per matched file, IIRC).\r
  88 \r
  89 After importing several GNU mailing lists' archives yesterday, I now did\r
  90 some measurements, and it is in the 20s KiB per file, ranging from 26 KiB\r
  91 for a 9000 files hierarchy to 21 KiB for a 23000 files hierarchy (the\r
  92 reason for the non-linearity mostly being notmuch's regular resident\r
  93 size, etc., I assume).\r
  94 \r
  95 And, of course:\r
  96 \r
  97     $ find ~/Mail-schwinge.name-thomas/import/GNU/2011-04-03/ -type f | wc =\r
  98 -l\r
  99     276010\r
 100     $ notmuch search --output=3Dfiles -- rdirectory:import/GNU/2011-04-03 |=\r
 101  grep -F import/GNU/2011-04-03 | wc -l\r
 102     0\r
 103     $ echo "${PIPESTATUS[@]}"\r
 104     137 1 0\r
 105     $ dmesg | grep notmuch\r
 106     [3797089.224252] notmuch invoked oom-killer: gfp_mask=3D0x200da, order=\r
 107 =3D0, oom_adj=3D0, oom_score_adj=3D0\r
 108     [3797089.224282] notmuch cpuset=3D/ mems_allowed=3D0\r
 109     [3797089.224290] Pid: 586, comm: notmuch Not tainted 3.0.0-1-686-pae #1\r
 110     [3797089.232081] [  586]  1000   586   310693   257874   0       0     =\r
 111         0 notmuch\r
 112     [3797089.232081] Out of memory: Kill process 586 (notmuch) score 697 or=\r
 113  sacrifice child\r
 114     [3797089.232081] Killed process 586 (notmuch) total-vm:1242772kB, anon-=\r
 115 rss:1031492kB, file-rss:4kB\r
 116 \r
 117 :-) (But this is no problem for me; I don't need to do such\r
 118 coarse-grained matching.)\r
 119 \r
 120     <amdragon> tschwinge: The solution is probably to add folder terms to\r
 121       messages (but as one, unsplit term, unlike in cworth's approach)\r
 122       and expand on those so that the space is bounded by the number of\r
 123       matched folders, rather than files.  That would also make it quite\r
 124       easy to do arbitrary glob matching.\r
 125 \r
 126 (These would now be directory terms.)  This suggestion still stands.\r
 127 (But I'm not working on it at the moment.)\r
 128 \r
 129 \r
 130 Gr=C3=BC=C3=9Fe,\r
 131  Thomas\r
 132 \r
 133 --=-=-=\r
 134 Content-Type: application/pgp-signature\r
 135 \r
 136 -----BEGIN PGP SIGNATURE-----\r
 137 Version: GnuPG v1.4.11 (GNU/Linux)\r
 138 \r
 139 iQEcBAEBAgAGBQJOqTyuAAoJEGe3hdm9kOii6FkH/j+gJ7LvgHbHOHraQJ4BcNRu\r
 140 /DK9vQvslfbS6m5sVpBjpdJGW2rCs9wqnSFQvXljhd3FEMTjD6x4hecV2/ZT4tTr\r
 141 OPI3bd70IunSO5i2ssE2P2D31olnTY95c2+mYDOng3OXXBZFlCsW0Wh5GEx1C66U\r
 142 31D1LRunsAeJBVkJNMgnPtpQlBtTZWKrTcFZNHyIhlXySQu8HkM1aWiOtpE+AbOa\r
 143 GHNxL7UaZkgqd+i6S3sKejKrN6u5SOwbUutCJCbOKKBbfO7SFIzo33i62aOx/YRJ\r
 144 yg9MVH60TugEtbwYx0OE11FW3a66u0lxqfcm3d8jwkPkXsOkjI+NaSjjF7iDmD8=\r
 145 =Yu2Y\r
 146 -----END PGP SIGNATURE-----\r
 147 --=-=-=--\r