[PATCH v4 6/9] lib: add date range query support
authorJani Nikula <jani@nikula.org>
Sat, 13 Oct 2012 22:09:52 +0000 (01:09 +0300)
committerW. Trevor King <wking@tremily.us>
Fri, 7 Nov 2014 17:49:46 +0000 (09:49 -0800)
04/8bbb4b29a67e6c1d13703aba526e419b794d49 [new file with mode: 0644]

diff --git a/04/8bbb4b29a67e6c1d13703aba526e419b794d49 b/04/8bbb4b29a67e6c1d13703aba526e419b794d49
new file mode 100644 (file)
index 0000000..4b1590a
--- /dev/null
@@ -0,0 +1,244 @@
+Return-Path: <jani@nikula.org>\r
+X-Original-To: notmuch@notmuchmail.org\r
+Delivered-To: notmuch@notmuchmail.org\r
+Received: from localhost (localhost [127.0.0.1])\r
+       by olra.theworths.org (Postfix) with ESMTP id 81585431FC2\r
+       for <notmuch@notmuchmail.org>; Sat, 13 Oct 2012 15:10:21 -0700 (PDT)\r
+X-Virus-Scanned: Debian amavisd-new at olra.theworths.org\r
+X-Amavis-Alert: BAD HEADER SECTION, Duplicate header field: "References"\r
+X-Spam-Flag: NO\r
+X-Spam-Score: -0.7\r
+X-Spam-Level: \r
+X-Spam-Status: No, score=-0.7 tagged_above=-999 required=5\r
+       tests=[RCVD_IN_DNSWL_LOW=-0.7] autolearn=disabled\r
+Received: from olra.theworths.org ([127.0.0.1])\r
+       by localhost (olra.theworths.org [127.0.0.1]) (amavisd-new, port 10024)\r
+       with ESMTP id NwTspzL9mtzX for <notmuch@notmuchmail.org>;\r
+       Sat, 13 Oct 2012 15:10:19 -0700 (PDT)\r
+Received: from mail-lb0-f181.google.com (mail-lb0-f181.google.com\r
+       [209.85.217.181]) (using TLSv1 with cipher RC4-SHA (128/128 bits))\r
+       (No client certificate requested)\r
+       by olra.theworths.org (Postfix) with ESMTPS id DB25B431FBD\r
+       for <notmuch@notmuchmail.org>; Sat, 13 Oct 2012 15:10:18 -0700 (PDT)\r
+Received: by mail-lb0-f181.google.com with SMTP id gg6so2988019lbb.26\r
+       for <notmuch@notmuchmail.org>; Sat, 13 Oct 2012 15:10:18 -0700 (PDT)\r
+X-Google-DKIM-Signature: v=1; a=rsa-sha256; c=relaxed/relaxed;\r
+       d=google.com; s=20120113;\r
+       h=from:to:cc:subject:date:message-id:x-mailer:in-reply-to:references\r
+       :in-reply-to:references:x-gm-message-state;\r
+       bh=LHrj3MH2fPnPXbqbUvgmMpVPn2lqNMRqO1+BfGxVJiU=;\r
+       b=niMLgTcOwzRIf/UxiVW36zE85NlAshjRUE7nyeyd5OzLBSTPb/KyBfHQRVsmkctpnZ\r
+       3T6kSets6Bh304lXgpBfBr83nw7yg9e6d53awBE9t2Pr3JCY/OKeaO3zmvTm82TTtQB2\r
+       7dFzeuStOPjETlExHVl2w7sb40CoUCsm/icLphVkgCPAu1VLMq0w/2MFBl5W3A4dtnQX\r
+       PWZ4I20C+EwBZ0fTjAUKWsyzhKPyOIzK8xpvP+OVlXfJFa4JS9q174V1NpaWWoBaM/Rn\r
+       tIM42I1hD570PjhqyAdkWu1JCBeJp42bcDpWU7GZ6a9M6wqstEzvkV2rP6jVbvd/j0CA\r
+       PyNA==\r
+Received: by 10.112.38.228 with SMTP id j4mr2891936lbk.87.1350166218385;\r
+       Sat, 13 Oct 2012 15:10:18 -0700 (PDT)\r
+Received: from localhost (dsl-hkibrasgw4-fe51df00-27.dhcp.inet.fi.\r
+       [80.223.81.27])\r
+       by mx.google.com with ESMTPS id q2sm3271862lbd.14.2012.10.13.15.10.16\r
+       (version=SSLv3 cipher=OTHER); Sat, 13 Oct 2012 15:10:17 -0700 (PDT)\r
+From: Jani Nikula <jani@nikula.org>\r
+To: notmuch@notmuchmail.org\r
+Subject: [PATCH v4 6/9] lib: add date range query support\r
+Date: Sun, 14 Oct 2012 01:09:52 +0300\r
+Message-Id:\r
+ <c2da03e2ff6827478378364d27914e462cc847d8.1350164594.git.jani@nikula.org>\r
+X-Mailer: git-send-email 1.7.9.5\r
+In-Reply-To: <cover.1350164594.git.jani@nikula.org>\r
+References: <cover.1350164594.git.jani@nikula.org>\r
+In-Reply-To: <cover.1350164594.git.jani@nikula.org>\r
+References: <cover.1350164594.git.jani@nikula.org>\r
+X-Gm-Message-State:\r
+ ALoCoQnwKIJxVmI/64FUYf1e/AwrXxhpEeJuNLap2+frNEJxptgPtA1i2G9qpzPIluMvCHu7OIB+\r
+X-BeenThere: notmuch@notmuchmail.org\r
+X-Mailman-Version: 2.1.13\r
+Precedence: list\r
+List-Id: "Use and development of the notmuch mail system."\r
+       <notmuch.notmuchmail.org>\r
+List-Unsubscribe: <http://notmuchmail.org/mailman/options/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=unsubscribe>\r
+List-Archive: <http://notmuchmail.org/pipermail/notmuch>\r
+List-Post: <mailto:notmuch@notmuchmail.org>\r
+List-Help: <mailto:notmuch-request@notmuchmail.org?subject=help>\r
+List-Subscribe: <http://notmuchmail.org/mailman/listinfo/notmuch>,\r
+       <mailto:notmuch-request@notmuchmail.org?subject=subscribe>\r
+X-List-Received-Date: Sat, 13 Oct 2012 22:10:21 -0000\r
+\r
+Add a custom value range processor to enable date and time searches of\r
+the form date:since..until, where "since" and "until" are expressions\r
+understood by the previously added date/time parser, to restrict the\r
+results to messages within a particular time range (based on the Date:\r
+header).\r
+\r
+If "since" or "until" describes date/time at an accuracy of days or\r
+less, the values are rounded according to the accuracy, towards past\r
+for "since" and towards future for "until". For example,\r
+date:november..yesterday would match from the beginning of November\r
+until the end of yesterday. Expressions such as date:today..today\r
+means since the beginning of today until the end of today.\r
+\r
+Open-ended ranges are supported (since Xapian 1.2.1), i.e. you can\r
+specify date:..until or date:since.. to not limit the start or end\r
+date, respectively.\r
+\r
+CAVEATS:\r
+\r
+Xapian does not support spaces in range expressions. You can replace\r
+the spaces with '_', or (in most cases) '-', or (in some cases) leave\r
+the spaces out altogether.\r
+\r
+Entering date:expr without ".." (for example date:yesterday) will not\r
+work as you might expect. You can achieve the expected result by\r
+duplicating the expr both sides of ".." (for example\r
+date:yesterday..yesterday).\r
+\r
+Open-ended ranges won't work with pre-1.2.1 Xapian, but they don't\r
+produce an error either.\r
+\r
+Signed-off-by: Jani Nikula <jani@nikula.org>\r
+---\r
+ lib/Makefile.local     |    1 +\r
+ lib/database-private.h |    1 +\r
+ lib/database.cc        |    5 +++++\r
+ lib/parse-time-vrp.cc  |   40 ++++++++++++++++++++++++++++++++++++++++\r
+ lib/parse-time-vrp.h   |   19 +++++++++++++++++++\r
+ 5 files changed, 66 insertions(+)\r
+ create mode 100644 lib/parse-time-vrp.cc\r
+ create mode 100644 lib/parse-time-vrp.h\r
+\r
+diff --git a/lib/Makefile.local b/lib/Makefile.local\r
+index d1635cf..6c0f42f 100644\r
+--- a/lib/Makefile.local\r
++++ b/lib/Makefile.local\r
+@@ -58,6 +58,7 @@ libnotmuch_c_srcs =          \\r
\r
+ libnotmuch_cxx_srcs =         \\r
+       $(dir)/database.cc      \\r
++      $(dir)/parse-time-vrp.cc        \\r
+       $(dir)/directory.cc     \\r
+       $(dir)/index.cc         \\r
+       $(dir)/message.cc       \\r
+diff --git a/lib/database-private.h b/lib/database-private.h\r
+index 88532d5..d3e65fd 100644\r
+--- a/lib/database-private.h\r
++++ b/lib/database-private.h\r
+@@ -52,6 +52,7 @@ struct _notmuch_database {\r
+     Xapian::QueryParser *query_parser;\r
+     Xapian::TermGenerator *term_gen;\r
+     Xapian::ValueRangeProcessor *value_range_processor;\r
++    Xapian::ValueRangeProcessor *date_range_processor;\r
+ };\r
\r
+ /* Return the list of terms from the given iterator matching a prefix.\r
+diff --git a/lib/database.cc b/lib/database.cc\r
+index 761dc1a..4df3217 100644\r
+--- a/lib/database.cc\r
++++ b/lib/database.cc\r
+@@ -19,6 +19,7 @@\r
+  */\r
\r
+ #include "database-private.h"\r
++#include "parse-time-vrp.h"\r
\r
+ #include <iostream>\r
\r
+@@ -710,12 +711,14 @@ notmuch_database_open (const char *path,\r
+       notmuch->term_gen = new Xapian::TermGenerator;\r
+       notmuch->term_gen->set_stemmer (Xapian::Stem ("english"));\r
+       notmuch->value_range_processor = new Xapian::NumberValueRangeProcessor (NOTMUCH_VALUE_TIMESTAMP);\r
++      notmuch->date_range_processor = new ParseTimeValueRangeProcessor (NOTMUCH_VALUE_TIMESTAMP);\r
\r
+       notmuch->query_parser->set_default_op (Xapian::Query::OP_AND);\r
+       notmuch->query_parser->set_database (*notmuch->xapian_db);\r
+       notmuch->query_parser->set_stemmer (Xapian::Stem ("english"));\r
+       notmuch->query_parser->set_stemming_strategy (Xapian::QueryParser::STEM_SOME);\r
+       notmuch->query_parser->add_valuerangeprocessor (notmuch->value_range_processor);\r
++      notmuch->query_parser->add_valuerangeprocessor (notmuch->date_range_processor);\r
\r
+       for (i = 0; i < ARRAY_SIZE (BOOLEAN_PREFIX_EXTERNAL); i++) {\r
+           prefix_t *prefix = &BOOLEAN_PREFIX_EXTERNAL[i];\r
+@@ -778,6 +781,8 @@ notmuch_database_close (notmuch_database_t *notmuch)\r
+     notmuch->xapian_db = NULL;\r
+     delete notmuch->value_range_processor;\r
+     notmuch->value_range_processor = NULL;\r
++    delete notmuch->date_range_processor;\r
++    notmuch->date_range_processor = NULL;\r
+ }\r
\r
+ void\r
+diff --git a/lib/parse-time-vrp.cc b/lib/parse-time-vrp.cc\r
+new file mode 100644\r
+index 0000000..7e4eca4\r
+--- /dev/null\r
++++ b/lib/parse-time-vrp.cc\r
+@@ -0,0 +1,40 @@\r
++\r
++#include "database-private.h"\r
++#include "parse-time-vrp.h"\r
++#include "parse-time-string.h"\r
++\r
++#define PREFIX "date:"\r
++\r
++/* See *ValueRangeProcessor in xapian-core/api/valuerangeproc.cc */\r
++Xapian::valueno\r
++ParseTimeValueRangeProcessor::operator() (std::string &begin, std::string &end)\r
++{\r
++    time_t t, now;\r
++\r
++    /* Require date: prefix in start of the range... */\r
++    if (STRNCMP_LITERAL (begin.c_str (), PREFIX))\r
++      return Xapian::BAD_VALUENO;\r
++\r
++    /* ...and remove it. */\r
++    begin.erase (0, sizeof (PREFIX) - 1);\r
++\r
++    /* Use the same 'now' for begin and end. */\r
++    if (time (&now) == (time_t) -1)\r
++      return Xapian::BAD_VALUENO;\r
++\r
++    if (!begin.empty ()) {\r
++      if (parse_time_string (begin.c_str (), &t, &now, PARSE_TIME_ROUND_DOWN))\r
++          return Xapian::BAD_VALUENO;\r
++\r
++      begin.assign (Xapian::sortable_serialise ((double) t));\r
++    }\r
++\r
++    if (!end.empty ()) {\r
++      if (parse_time_string (end.c_str (), &t, &now, PARSE_TIME_ROUND_UP_INCLUSIVE))\r
++          return Xapian::BAD_VALUENO;\r
++\r
++      end.assign (Xapian::sortable_serialise ((double) t));\r
++    }\r
++\r
++    return valno;\r
++}\r
+diff --git a/lib/parse-time-vrp.h b/lib/parse-time-vrp.h\r
+new file mode 100644\r
+index 0000000..526c217\r
+--- /dev/null\r
++++ b/lib/parse-time-vrp.h\r
+@@ -0,0 +1,19 @@\r
++\r
++#ifndef NOTMUCH_PARSE_TIME_VRP_H\r
++#define NOTMUCH_PARSE_TIME_VRP_H\r
++\r
++#include <xapian.h>\r
++\r
++/* see *ValueRangeProcessor in xapian-core/include/xapian/queryparser.h */\r
++class ParseTimeValueRangeProcessor : public Xapian::ValueRangeProcessor {\r
++protected:\r
++    Xapian::valueno valno;\r
++\r
++public:\r
++    ParseTimeValueRangeProcessor (Xapian::valueno slot_)\r
++      : valno(slot_) { }\r
++\r
++    Xapian::valueno operator() (std::string &begin, std::string &end);\r
++};\r
++\r
++#endif /* NOTMUCH_PARSE_TIME_VRP_H */\r
+-- \r
+1.7.9.5\r
+\r