亲宝软件园·资讯

展开

Elasticsearch系列---深入全文搜索

清茶豆奶 人气:0
### 概要 本篇介绍怎样在全文字段中搜索到最相关的文档,包含手动控制搜索的精准度,搜索条件权重控制。 ### 手动控制搜索的精准度 搜索的两个重要维度:相关性(Relevance)和分析(Analysis)。 相关性是评价查询条件与结果的相关程度,并对相关程度进行排序,一般使用TF/IDF方法。 分析是指将索引文档与查询条件规范化的一个过程,目的是建立倒排索引时,尽可能地提升召回率。 #### match查询原理 匹配查询match是核心查询语法,它的主要应用场景就是全文搜索,我们举一个示例: ```java GET /music/children/_search { "query": { "match": { "name": "wake" } } } ``` Elasticsearch执行的步骤: 1. 检索字段类型:match的字段name为text类型,是一个analyzed的字段,那么查询条件的字符串也应该被analyzed。 2. 分析查询字符串:将查询字符串"wake"传入分词器中(与mapping的分词器一致),因为只有一个单词,所以match最终执行的是单个底层的term查询。 3. 查找匹配文档:用term倒排索引中查找wake然后获取一组包含该词的文档。 4. 为每个文档评分:用term查询计算每个文档相关度评分,即TF、IDF、length norm算法。 得到的结果如下: ```java { "took": 1, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "hits": { "total": 1, "max_score": 0.2876821, "hits": [ { "_index": "music", "_type": "children", "_id": "2", "_score": 0.2876821, "_source": { "id": "a810fad4-54cb-59a1-9b7a-82adb46fa58d", "author": "John Smith", "name": "wake me, shark me", "content": "don't let me sleep too late, gonna get up brightly early in the morning", "language": "english", "tags": "enlighten", "length": 55, "isRelease": true, "releaseDate": "2019-12-21" } } ] } } ``` 因为样本数据的问题,暂时只有一条文档匹配。 #### 搜索name中包含"you"或"sunshine"的文档 ```java GET /music/children/_search { "query": { "match": { "name": "you sunshine" } } } ``` #### 搜索name中包含"you"和"sunshine"的文档 ```java GET /music/children/_search { "query": { "match": { "name": { "query": "you sunshine", "operator": "and" } } } } ``` 搜索精准度控制的第一步:使用and关键字。如果希望所有搜索关键字都要匹配,可以用and来实现。 #### 搜索"you"、"my"、"sunshine"、"teeth" 4个关键字中,至少包含3个的文档 ```java GET /music/children/_search { "query": { "match": { "name": { "query": "you my sunshine teeth", "minimum_should_match": "75%" } } } } ``` 搜索精准度控制的第二步:指定至少匹配其中的多少个关键字,才能作为结果返回 #### bool组合多个搜索条件 用bool组合,可以完成更加个性化的搜索需求,例如我们查找名称包含"sunshine",但不包含"teeth",允许出现"you"、"my"关键字,示例如下: ```java GET /music/children/_search { "query": { "bool": { "must": { "match": { "name": "sunshine" }}, "must_not": { "match": { "name": "teeth" }}, "should": [ { "match": { "name": "my" }}, { "match": { "name": "you" }} ] } } } ``` #### should对相关度评分计算的影响 以上面的bool为例子,我们只讨论匹配的文档,按自己的理解,对文档进行粗略排名: 1. 最符合搜索条件的 文档中同时包含should中的"my"、"you"两个关键字。 2. 很符合搜索条件的 文档中包含should中的"my"或"you"两个关键字的其中一个。 3. 符合搜索条件的 文档中不包含should中的"my"和"you"。 像must not这种硬性条件,不匹配都不会出现在结果集里,主要起到排除文档作用,不参与评分计算。但should也能影响相关度评分,匹配得越多,评分就越高。 bool查询会为每个文档计算相关度评分_score ,再将所有匹配的 must 和 should 语句的分数 _score 求和,最后除以 must 和 should 语句的总数。 这里不详细讲解评分计算的具体细节和分数,了解should对其有影响即可。 #### should匹配原则 如果查询条件中有must存在,那么should匹配的数量不作要求;如果没有must,则should必须要匹配一个,要不然全是should条件的,所有文档都能匹配,就失去了搜索的意义。 如果带上minimum_should_match,那么就能做更精细的控制,可以指定必须要匹配几个should,才能返回结果集,如下两个示例是等同的: ```java GET /music/children/_search { "query": { "match": { "name": { "query": "you my sunshine teeth", "minimum_should_match": "75%" } } } } ``` ```java GET /music/children/_search { "query": { "bool": { "should": [ { "match": { "name": "you" }}, { "match": { "name": "my" }}, { "match": { "name": "sunshine" }}, { "match": { "name": "teeth" }} ], "minimum_should_match": 3 } } } ``` ### 多词查询的底层原理 上一节当中我们提到的多词match的查询,Elasticsearch会将多词的term查询转换为bool查询,or查询使用should替代, and查询使用must,我们回顾一下上一节的示例: #### or查询 下面两个查询是等价的 ```java GET /music/children/_search { "query": { "match": { "name": "you sunshine" } } } GET /music/children/_search { "query": { "bool": { "should": [ {"term": {"name": "you"}}, {"term": {"name": "sunshine"}} ] } } } ``` #### and查询 下面两个查询也是等价的 ```java GET /music/children/_search { "query": { "match": { "name": { "query": "you sunshine", "operator": "and" } } } } GET /music/children/_search { "query": { "bool": { "must": [ {"term": {"name": "you"}}, {"term": {"name": "sunshine"}} ] } } } ``` #### minimum_should_match语法 下面两个查询仍然是等价的 ```java GET /music/children/_search { "query": { "match": { "name": { "query": "you my sunshine teeth", "minimum_should_match": "75%" } } } } GET /music/children/_search { "query": { "bool": { "should": [ { "match": { "name": "you" }}, { "match": { "name": "my" }}, { "match": { "name": "sunshine" }}, { "match": { "name": "teeth" }} ], "minimum_should_match": 3 } } } ``` minimum_should_match的值可以改,也会根据实际的条件来换算,比如我写个75%,但实际的搜索词条就只有3个,那么minimum_should_match的值就会变成66.6%,即至少需要匹配2条。 ### 查询语句权重控制 bool查询里的多条件并列,默认权重是一样的,但实际的搜索当中,我们可能会特别某一些关键词给予特殊的关注,希望匹配关注度高的文档排序能靠前一些,boost语法可以帮助我们实现这一需求。 boost默认是1,可以在查询语句中自行设置,如下示例,我希望sunshine的权重要大一些: ```java GET /music/children/_search { "query": { "bool": { "must": { "match": { "name": { "query": "sunshine", "boost": 2 } } }, "should": [ { "match": { "name": "my" } }, { "match": { "name": "you" } } ] } } } ``` 在查询结果里可以看到,符合条件的文档的_score值变得更高一些。boost值的设置不是简单的线性增长,boost设置为2不表示_score也会简单的翻一倍,boost值在计算时有归一化处理,但具体的计算数值及过程不在此篇作详细的解释。 ### 评分计算的小问题 我们的演示环境是单node多shard模式的,有些示例发现评分会出现特别高的现象,给人感觉不是很准确,这是为什么呢? #### 不准确的原因 我们简单回顾一下评分计算的几个算法:TF、IDF、Length Norm,其中IDF本意上是在所有的document中,搜索关键词的出现次数,实际上IDF默认在本地shard执行的次数统计,一个shard只包含部分数据,不能代表所有数据,这样做比较高效,但会带来误差,也是造成结果不准确的原因。 演示环境中出现较大偏差,还有一个原因是演示数据相对较少,如果只有一个document,并且该document符合查询条件,那么IDF的分数就会变得很高。 #### 解决办法 1. 生产环境数据量相对较大,默认使用_id进行路由,在概率分布下,其实每个shard的数据基本上比较均匀,不用太担心演示环境的这种情况。 2. 演示环境可以将primary shard设置为1,只有一个shard,那IDF的值肯定是对的。 3. 演示环境进行搜索时,带上search_type=dfs_query_then_fetch参数,会将local IDF取出来计算global IDF。注意性能问题,生产上禁用。 ### 小结 本篇主要介绍了全文搜索几种手动控制精度的方式:逻辑操作符变换、should命中率设置、权重调整等手段,最后对评分计算的小问题进行的简单描述,谢谢。 专注Java高并发、分布式架构,更多技术干货分享与心得,请关注公众号:Java架构社区 可以扫左边二维码添加好友,邀请你加入Java架构社区微信群共同探讨技术 ![Java架构社区](https://img2020.cnblogs.com/blog/1834889/202003/1834889-20200303074927076-1724862603.jpg)

加载全部内容

相关教程
猜你喜欢
用户评论