技术标签： Elastic Elasticsearch elasticsearch 大数据
我们发现一些用户经常编写了一些非常冗长和复杂的查询 - 在很多情况下，相同的查询会一遍又一遍地执行，但是会有一些不同的值作为参数来查询。在这种情况下，我们觉得使用一个 search template（搜索模板）来做这样的工作非常合适。搜索模板允许你使用可在执行时定义的参数定义查询。
Search template 的好处是：
首先，我们来定义一个 search template 来看看它到底是什么东西。使用_scripts端点将模板存储在集群状态中。在 search template中使用的语言叫做 mustache。
POST _scripts/my_search_template
{
"script": {
"lang": "mustache",
"source": {
"query": {
"match": {
"{
{my_field}}": "{
{my_value}}"
}
}
}
}
}在这里，我们定义了一个叫做 my_search_template 的 search template。如果我们想更新这个 search template，我们可以直接进行修改，然后再次运行上面的命令即可。
我们可以试验如下的命令来验证我们的 search template：
POST _render/template
{
"id": "my_search_template",
"params": {
"my_field": "city",
"my_value": "Beijing"
}
}上述命令输出搜索请求正文：
{
"template_output": {
"query": {
"match": {
"city": "Beijing"
}
}
}
}我们也可以使用如下的 API 来测试 inline templates：
POST _render/template
{
"source": {
"query": {
"match": {
"{
{my_field}}": "{
{my_value}}"
}
}
},
"params": {
"my_field": "city",
"my_value": "Beijing"
}
}上面的命令将返回和上述命令一样的结果。
要使用搜索模板运行搜索，请使用搜索模板 API。 你可以为每个请求指定不同的参数。
在 match 的字段里，我们定义了两个参数：my_field 及 my_value。下面，我们来首先建立一个叫做 twitter 的索引：
PUT twitter/_doc/1
{
"user" : "双榆树-张三",
"message" : "今儿天气不错啊，出去转转去",
"uid" : 2,
"age" : 20,
"city" : "北京",
"province" : "北京",
"country" : "中国",
"address" : "中国北京市海淀区",
"location" : {
"lat" : "39.970718",
"lon" : "116.325747"
}
}
PUT twitter/_doc/2
{
"user" : "虹桥-老吴",
"message" : "好友来了都今天我生日，好友来了,什么 birthday happy 就成!",
"uid" : 7,
"age" : 90,
"city" : "上海",
"province" : "上海",
"country" : "中国",
"address" : "中国上海市闵行区",
"location" : {
"lat" : "31.175927",
"lon" : "121.383328"
}
}我们这里把上面的两个文档存于到 twitter 的i ndex 之中。我们现在可以使用我们刚才定义的 search template 来进行搜索：
GET twitter/_search/template
{
"id": "my_search_template",
"params": {
"my_field": "city",
"my_value": "北京"
}
}显示的结果是：
{
"took" : 1,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 1,
"relation" : "eq"
},
"max_score" : 0.9808292,
"hits" : [
{
"_index" : "twitter",
"_type" : "_doc",
"_id" : "1",
"_score" : 0.9808292,
"_source" : {
"user" : "双榆树-张三",
"message" : "今儿天气不错啊，出去转转去",
"uid" : 2,
"age" : 20,
"city" : "北京",
"province" : "北京",
"country" : "中国",
"address" : "中国北京市海淀区",
"location" : {
"lat" : "39.970718",
"lon" : "116.325747"
}
}
}
]
}
}显示它只显示了我们的 city 为北京的一个文档，另外一个上海的文档没有做任何的显示。说明我们定义的 search template 是工作的。
要使用单个请求运行多个模板化搜索，请使用多搜索模板 API。 与多个单独的搜索相比，这些请求通常具有更少的开销和更快的速度：
GET my-index/_msearch/template
{ }
{ "id": "my-search-template", "params": { "query_string": "hello world", "from": 0, "size": 10 }}
{ }
{ "id": "my-other-search-template", "params": { "query_type": "match_all" }}要为变量设置默认值，请使用以下语法：
{
{my-var}}{
{^my-var}}default value{
{/my-var}}如果模板化搜索未在其参数中指定值，则搜索将使用默认值。 例如，以下模板设置了 from 和 size 的默认值。
POST _render/template
{
"source": {
"query": {
"match": {
"message": "{
{query_string}}"
}
},
"from": "{
{from}}{
{^from}}0{
{/from}}",
"size": "{
{size}}{
{^size}}10{
{/size}}"
},
"params": {
"query_string": "hello world"
}
}使用 { {#url}} 函数对字符串进行 URL 编码。
POST _render/template
{
"source": {
"query": {
"term": {
"url.full": "{
{#url}}{
{host}}/{
{page}}{
{/url}}"
}
}
},
"params": {
"host": "http://example.com",
"page": "hello-world"
}
}模板呈现为：
{
"template_output": {
"query": {
"term": {
"url.full": "http%3A%2F%2Fexample.com%2Fhello-world"
}
}
}
}使用 { {#join}} 函数将数组值连接为逗号分隔的字符串。 例如，以下模板连接两个电子邮件地址。
POST _render/template
{
"source": {
"query": {
"match": {
"user.group.emails": "{
{#join}}emails{
{/join}}"
}
}
},
"params": {
"emails": [ "[email protected]", "[email protected]" ]
}
}模板呈现为：
{
"template_output": {
"query": {
"match": {
"user.group.emails": "[email protected],[email protected]"
}
}
}
}你还可以指定自定义分隔符。
POST _render/template
{
"source": {
"query": {
"range": {
"user.effective.date": {
"gte": "{
{date.min}}",
"lte": "{
{date.max}}",
"format": "{
{#join delimiter='||'}}date.formats{
{/join delimiter='||'}}"
}
}
}
},
"params": {
"date": {
"min": "2098",
"max": "06/05/2099",
"formats": ["dd/MM/yyyy", "yyyy"]
}
}
}模板呈现为：
{
"template_output": {
"query": {
"range": {
"user.effective.date": {
"gte": "2098",
"lte": "06/05/2099",
"format": "dd/MM/yyyy||yyyy"
}
}
}
}
}使用 { {#toJson}} 函数将变量值转换为其 JSON 表示形式。
例如，以下模板使用 { {#toJson}} 传递数组。 为了确保请求体是有效的 JSON，source 以字符串格式编写。
POST _render/template
{
"source": "{ \"query\": { \"terms\": { \"tags\": {
{#toJson}}tags{
{/toJson}} }}}",
"params": {
"tags": [
"prod",
"es01"
]
}
}模板呈现为：
{
"template_output": {
"query": {
"terms": {
"tags": [
"prod",
"es01"
]
}
}
}
}你还可以使用 { {#toJson}} 传递对象。
POST _render/template
{
"source": "{ \"query\": {
{#toJson}}my_query{
{/toJson}} }",
"params": {
"my_query": {
"match_all": { }
}
}
}模板呈现为：
{
"template_output" : {
"query" : {
"match_all" : { }
}
}
}你还可以传递一个对象数组：
POST _render/template
{
"source": "{ \"query\": { \"bool\": { \"must\": {
{#toJson}}clauses{
{/toJson}} }}}",
"params": {
"clauses": [
{
"term": {
"user.id": "kimchy"
}
},
{
"term": {
"url.domain": "example.com"
}
}
]
}
}模板呈现为：
{
"template_output": {
"query": {
"bool": {
"must": [
{
"term": {
"user.id": "kimchy"
}
},
{
"term": {
"url.domain": "example.com"
}
}
]
}
}
}
}在 Mustache 语言中，它没有 if/else 这样的判断，但是你可以定 section 来跳过它如果那个变量是 false 还是没有被定义：
{
{#param1}}
"This section is skipped if param1 is null or false"
{
{/param1}}我们定义如下的一个 search template:
POST _scripts/docs_from_beijing_and_age
{
"script": {
"lang": "mustache",
"source":
"""
{
"query": {
"bool": {
"must": [
{
"match": {
"city": "{
{search_term}}"
}
}
{
{#search_age}}
,
{
"range": {
"age": {
"gte": {
{search_age}}
}
}
}
{
{/search_age}}
]
}
}
}
"""
}
}在这里，我们同时定义了两个变量：search_term 及 search_age。针对 search_age，我们做了一个判断，如果它有定义，及做一个 range 的查询。如果没有定义，就只用 search_term。那么我们来做如下的实验：
GET twitter/_search/template
{
"id": "docs_from_beijing_and_age",
"params": {
"search_term": "北京"
}
}显示的结果是：
{
"took" : 0,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 1,
"relation" : "eq"
},
"max_score" : 0.9808292,
"hits" : [
{
"_index" : "twitter",
"_type" : "_doc",
"_id" : "1",
"_score" : 0.9808292,
"_source" : {
"user" : "双榆树-张三",
"message" : "今儿天气不错啊，出去转转去",
"uid" : 2,
"age" : 20,
"city" : "北京",
"province" : "北京",
"country" : "中国",
"address" : "中国北京市海淀区",
"location" : {
"lat" : "39.970718",
"lon" : "116.325747"
}
}
}
]
}
}显然，city 为北京的文档已经被搜索到了。如果我们做如下的查询：
GET twitter/_search/template
{
"id": "docs_from_beijing_and_age",
"params": {
"search_term": "北京",
"search_age": "30"
}
}我们将搜索不到任何的结果，这是因为在这次查询中 search_age 已经被启用，而且在数据库中没有一个文档是来自“北京”，并且年龄大于 30 的。我们可以做如下的查询：
GET twitter/_search/template
{
"id": "docs_from_beijing_and_age",
"params": {
"search_term": "北京",
"search_age": "20"
}
}那么这次的显示结果为：
{
"took" : 0,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 1,
"relation" : "eq"
},
"max_score" : 1.9808292,
"hits" : [
{
"_index" : "twitter",
"_type" : "_doc",
"_id" : "1",
"_score" : 1.9808292,
"_source" : {
"user" : "双榆树-张三",
"message" : "今儿天气不错啊，出去转转去",
"uid" : 2,
"age" : 20,
"city" : "北京",
"province" : "北京",
"country" : "中国",
"address" : "中国北京市海淀区",
"location" : {
"lat" : "39.970718",
"lon" : "116.325747"
}
}
}
]
}
}显然这次我们搜索到我们想要的结果。
GET _scripts/<templateid>针对我们的情况：
GET _scripts/docs_from_beijing_and_age显示的结果为：
{
"_id" : "docs_from_beijing_and_age",
"found" : true,
"script" : {
"lang" : "mustache",
"source" : """
{
"query": {
"bool": {
"must": [
{
"match": {
"city": "{
{search_term}}"
}
}
{
{#search_age}}
,
{
"range": {
"age": {
"gte": {
{search_age}}
}
}
}
{
{/search_age}}
]
}
}
}
"""
}
}这个正是我们之前定义的一个 search template。
我们可以通过如下的命令来删除一个已经创建的 search template:
DELETE _scripts/<templateid>我们可以通过 _render 端点来验证我们的 search template。比如：
GET _render/template
{
"source": """
{
"query": {
"bool": {
"must": [
{
"match": {
"city": "{
{search_term}}"
}
}
{
{#search_age}}
,
{
"range": {
"age": {
"gte": {
{search_age}}
}
}
}
{
{/search_age}}
]
}
}
}
""",
"params": {
"search_term": "北京",
"search_age": "20"
}
}那么显示的结果是：
{
"template_output" : {
"query" : {
"bool" : {
"must" : [
{
"match" : {
"city" : "北京"
}
},
{
"range" : {
"age" : {
"gte" : 20
}
}
}
]
}
}
}
}显然，这个就是我们想要的结果。
参考：
文章浏览阅读543次。Fdisk是我们在硬盘分区时最常用的命令,但有的读者可能还不知道，Fdisk命令还有一个未公开参数/MBR，如果在DOS提示符下使用Fdisk /?不会发现此参数，但是这个参数却有很重要的作用，MBR是主引导记录(Master Boot Record)的缩写。那么，Fdisk /MBR是如何工作的呢？下面和各位读者共同学习一下。 先来看看主引导扇区,硬盘的零柱面零磁道..._在dos下用fdisk/mbr命令进行修复
文章浏览阅读1.5k次，点赞3次，收藏16次。本系统由QT编译，可应用于大多数基于RFID的管理系统，可进行端口设置，进出系统物品查询等基本功能！系统实现:将RFID技术引入柜台贵重物品管理系统，为贵重的柜台商品绑定RFID标签，结合安装在柜台上的RFID识别设备用来监测、控制和跟踪贴标的贵重物品，实现快速盘点、实时跟踪及销售的智能管理。从而对柜台贵重物品产品的进出和销售过程进行全方位的跟踪和记录，用自动化和准确高效的新方法取代了繁琐和低效的人工管理和条码扫描模式。并能做到短距离离开柜台（3~5米）报警，未能取得授权情况下，破坏或解除RFID标签与贵重_rfid读卡qt设计
文章浏览阅读652次。河内塔问题在经典河内塔问题中，有3根柱子和N个不同大小的穿孔圆盘，盘子可以滑入任意一根柱子。一开始，所有盘子自上而下按从大到小依次套在一根柱子上，现在想将所有的圆盘按照原来的位置从一根柱子移动到另一根柱子上，移动过程需要遵守一些规则：1.每次只能移动一个盘子2.盘子只能从柱子顶端滑出移动到下一根柱子3.盘子只能叠在没有盘子的柱子或者比它大的盘子上聚焦河内塔问题。河内塔的规则，限定了较大的圆盘要先转移到目标柱子（选择的任意一根柱子）上，这时直接转移是不可行的，一定要利用其他柱子。问题中只有3根柱_任意起始的汉诺塔问题:共有m()根柱子可以用来移动盘子。起始时,在m根柱子上总
文章浏览阅读419次，点赞5次，收藏5次。利用寄存器编程编程，实现如下功能：通过寄存器编程，实现PB22控制G3507开发板蓝灯的亮灭控制_mspm0是干什么用的
文章浏览阅读6.4k次，点赞2次，收藏2次。作为 Android四大组件之一， 服务也少不了有很多非常重要的知识点，那自然要从最基本的用法开始学习了。定义一个服务：public class MyService extends Service { /** * onBind是继承Service后唯一的一个抽象方法所以必须要重写的一个方法 */ @Override public IBinder onBin_用服务
文章浏览阅读2.5k次。一、java基础 1、String类为什么是final的。从设计安全上讲：1）确保它们不会在子类中改变语义。String类是final类，这意味着不允许任何人定义String的子类。换言之，如果有一个String的引用，它应用的一定是一个String对象，而不可能是其他类的对象。2）String一旦被创建是不能被修改的，因为java设计者将String为可以共享的。从效率上讲：1）设计成fina...
文章浏览阅读1w次。为什么要格式化我们中国人习惯 yyyy-MM-dd HH:mm:ss 这种格式的日期，但奈何框架是歪国大佬们写的，他们的日期格式与我们相差甚远，好在 Spring Boot 提供了 spring.jackson.date-format，但它只能格式化 java.util.Date。那么解决办法是什么呢？在 JDK8 中，一个新的重要特性就是引入了全新的时间和日期API，它被收录在 java..._jdk date pattern
文章浏览阅读6k次，点赞3次，收藏36次。1、Python网络爬虫方向的第三方库是A. requestB. jiebaC.itchatD.time答案：A2、Python网络爬虫方向的第三方库是A、numpyB、scrapyC、ArcadeD、FGMK答案：B3、Python数据分析方向的第三方库是A、BokehB、dataswimC、scipyD、Gleam答案：C4、Python数据分析方向的第三方库是A、PlotlyB、PyQtDa..._python第三方库习题
文章浏览阅读544次。在Java程序中，一个线程对象只能调用一次start()方法启动新线程，并在新线程中执行run()方法。一旦run()方法执行完毕，线程就结束了。因此，Java线程的状态有以下几种：New：新创建的线程，尚未执行； Runnable：运行中的线程，正在执行run()方法的Java代码； Blocked：运行中的线程，因为某些操作被阻塞而挂起； Waiting：运行中的线程，因为某些操作在等待中； Timed Waiting：运行中的线程，因为执行sleep()方法正在计时等待； Termina_thread terminated
文章浏览阅读543次。AI视野·今日CS.CV 计算机视觉论文速览Tue, 3 Oct 2023 (showing first 100 of 167 entries)Totally 100 papers上期速览更多精彩请移步主页Daily Computer Vision PapersGPT-Driver: Learning to Drive with GPT Authors Jiageng Mao, Yuxi Qian, Hang Zhao, Yue Wang我们提出了一种简单而有效的方法，可以将 O_humannorm: learning normal diffusion model for high-quality and realistic 3d
文章浏览阅读1k次。这个时候将ip文件夹下的sim 和simulation文件夹给到VCS就可以_vivado不支持vcs
文章浏览阅读723次。读取非对齐数据到list，数据填充。可视化，colrbar_多维list展平