5a/f4e197ae2653b61788f684b8aefb472dcb4b5b

   1 Return-Path: <aclements@csail.mit.edu>\r
   2 X-Original-To: notmuch@notmuchmail.org\r
   3 Delivered-To: notmuch@notmuchmail.org\r
   4 Received: from localhost (localhost [127.0.0.1])\r
   5         by olra.theworths.org (Postfix) with ESMTP id 41693431FBF\r
   6         for <notmuch@notmuchmail.org>; Wed, 29 Jan 2014 12:46:24 -0800 (PST)\r
   7 X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
   8 X-Spam-Flag: NO\r
   9 X-Spam-Score: -0.7\r
  10 X-Spam-Level: \r
  11 X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
  12         tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
  13 Received: from olra.theworths.org ([127.0.0.1])\r
  14         by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
  15         with ESMTP id wSq9WGnEPv8h for <notmuch@notmuchmail.org>;\r
  16         Wed, 29 Jan 2014 12:46:17 -0800 (PST)\r
  17 Received: from dmz-mailsec-scanner-4.mit.edu (dmz-mailsec-scanner-4.mit.edu\r
  18         [18.9.25.15])\r
  19         (using TLSv1 with cipher DHE-RSA-AES256-SHA (256/256 bits))\r
  20         (No client certificate requested)\r
  21         by olra.theworths.org (Postfix) with ESMTPS id 2AE06431FBD\r
  22         for <notmuch@notmuchmail.org>; Wed, 29 Jan 2014 12:46:17 -0800 (PST)\r
  23 X-AuditID: 1209190f-f790b6d000000c3a-b4-52e96898ad56\r
  24 Received: from mailhub-auth-4.mit.edu ( [18.7.62.39])\r
  25         (using TLS with cipher AES256-SHA (256/256 bits))\r
  26         (Client did not present a certificate)\r
  27         by dmz-mailsec-scanner-4.mit.edu (Symantec Messaging Gateway) with SMTP\r
  28         id 15.84.03130.89869E25; Wed, 29 Jan 2014 15:46:16 -0500 (EST)\r
  29 Received: from outgoing.mit.edu (outgoing-auth-1.mit.edu [18.9.28.11])\r
  30         by mailhub-auth-4.mit.edu (8.13.8/8.9.2) with ESMTP id s0TKkEEH005254; \r
  31         Wed, 29 Jan 2014 15:46:15 -0500\r
  32 Received: from awakening.csail.mit.edu (awakening.csail.mit.edu [18.26.4.91])\r
  33         (authenticated bits=0)\r
  34         (User authenticated as amdragon@ATHENA.MIT.EDU)\r
  35         by outgoing.mit.edu (8.13.8/8.12.4) with ESMTP id s0TKkBCu006144\r
  36         (version=TLSv1/SSLv3 cipher=DHE-RSA-AES128-SHA bits=128 verify=NOT);\r
  37         Wed, 29 Jan 2014 15:46:13 -0500\r
  38 Received: from amthrax by awakening.csail.mit.edu with local (Exim 4.80)\r
  39         (envelope-from <aclements@csail.mit.edu>)\r
  40         id 1W8c1S-0008Io-75; Wed, 29 Jan 2014 15:46:10 -0500\r
  41 Date: Wed, 29 Jan 2014 15:46:09 -0500\r
  42 From: Austin Clements <aclements@csail.mit.edu>\r
  43 To: Carl Worth <cworth@cworth.org>\r
  44 Subject: Re: [PATCH 0/5] lib: make folder: prefix literal\r
  45 Message-ID: <20140129204608.GE4375@mit.edu>\r
  46 References: <cover.1389304779.git.jani@nikula.org>\r
  47         <87y525m649.fsf@awakening.csail.mit.edu>\r
  48         <87r47wfltb.fsf@nikula.org> <87iot8f4vg.fsf@nikula.org>\r
  49         <874n4rvcvo.fsf@yoom.home.cworth.org> <874n4mfw1x.fsf@nikula.org>\r
  50         <87k3dir3ci.fsf@yoom.home.cworth.org>\r
  51 MIME-Version: 1.0\r
  52 Content-Type: text/plain; charset=us-ascii\r
  53 Content-Disposition: inline\r
  54 In-Reply-To: <87k3dir3ci.fsf@yoom.home.cworth.org>\r
  55 User-Agent: Mutt/1.5.21 (2010-09-15)\r
  56 X-Brightmail-Tracker:\r
  57  H4sIAAAAAAAAA+NgFuplleLIzCtJLcpLzFFi42IRYrdT152R8TLI4OkrPoubP+ewWTRNd7a4\r
  58         fnMmswOzx+7ND1g8bt1/ze7xbNUt5gDmKC6blNSczLLUIn27BK6M2ZufsRRc56k4sfQoSwNj\r
  59         D1cXIyeHhICJxMOvy1ggbDGJC/fWs3UxcnEICcxmklg64SQzhLORUaKp/zMrhHOaSaL37S8W\r
  60         CGc1o0TbncfsIP0sAqoSTzbvZgKx2QT0JVasncQKYosIKEk8PbIKLM4sYCXRsOUDI4gtLGAp\r
  61         MfXOFLA4r4C2xIWFj6GGtjNJ9NxaAZUQlDg58wkLRLOWxI1/L4HiHEC2tMTyfxwgJqeAkcSU\r
  62         yxkgFaICKhJTTm5jm8AoNAtJ8ywkzbMQmhcwMq9ilE3JrdLNTczMKU5N1i1OTszLSy3SNdHL\r
  63         zSzRS00p3cQICnVOSf4djN8OKh1iFOBgVOLhXXHxeZAQa2JZcWXuIUZJDiYlUd4DqS+DhPiS\r
  64         8lMqMxKLM+KLSnNSiw8xSnAwK4nwfowDyvGmJFZWpRblw6SkOViUxHlvctgHCQmkJ5akZqem\r
  65         FqQWwWRlODiUJHi3pQM1ChalpqdWpGXmlCCkmTg4QYbzAA2fBlLDW1yQmFucmQ6RP8WoKCUO\r
  66         kRAASWSU5sH1wlLRK0ZxoFeEeTeCVPEA0xhc9yugwUxAg8V2vAAZXJKIkJJqYBRg8pV4e8/n\r
  67         3ypHpsOySybLmq238ApKdMpecqie8WRswREhzV1uIUIaLBsD72oLdZ5n6NLfaVXVsm2Skk2a\r
  68         a7vi48W+08z1dY0t1yd37r36nVmhPuSHzPn5osn+LldlHk3asTUy9IrRN5cV4iLTDP5I8pwo\r
  69         E/cNXSV6Z/NVwZrb628djbq5T4mlOCPRUIu5qDgRAMOxfoYgAwAA\r
  70 Cc: notmuch@notmuchmail.org\r
  71 X-BeenThere: notmuch@notmuchmail.org\r
  72 X-Mailman-Version: 2.1.13\r
  73 Precedence: list\r
  74 List-Id: "Use and development of the notmuch mail system."\r
  75         <notmuch.notmuchmail.org>\r
  76 List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
  77         <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
  78 List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
  79 List-Post: <mailto:notmuch@notmuchmail.org>\r
  80 List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
  81 List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
  82         <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
  83 X-List-Received-Date: Wed, 29 Jan 2014 20:46:24 -0000\r
  84 \r
  85 Quoth Carl Worth on Jan 29 at 11:32 am:\r
  86 > Jani Nikula <jani@nikula.org> writes:\r
  87 > > Unfortunately, I haven't had the time to experiment with this. But it\r
  88 > > bugs me that the probabilistic folder: prefix has stemming and it's case\r
  89 > > insensitive. It's possible to work around the stemming with the anchors\r
  90 > > you suggest or by quoting, but is there a way to have case sensitive\r
  91 > > probabilistic prefixes?\r
  92 > \r
  93 > The stemming and case insensitivity just has to do with which terms are\r
  94 > shoved into the database, (you have to add extra terms to get these\r
  95 > features). If we're getting those features for folder now, (and I agree\r
  96 > that we don't want them), it's because we're calling some Xapian\r
  97 > convenience function along the lines of "create a bunch of terms for\r
  98 > this chunk of text".\r
  99 > \r
 100 > The fix for that is to do the simple thing and simply break the path at\r
 101 > each '/' and add a term for each component. Then these problems all go\r
 102 > away.\r
 103 \r
 104 I think you're assuming we have much more control over this than we\r
 105 do.  It's true that we're using Xapian::TermGenerator for this, which\r
 106 is what strips case and stems terms (and removes any punctuation like\r
 107 $ or ^), but Xapian's current query parser only gives us two options\r
 108 for a prefix: either don't parse them at all (boolean terms), or parse\r
 109 them using TermGenerator (probabilistic terms).  We can index these\r
 110 terms however we want, but there's simply no hook into the query\r
 111 parser that would let us split the query at each '/' at search time.\r
 112 \r
 113 > So fixes for this should not require switching from a probabilistic to a\r
 114 > Boolean prefix.\r