开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

搜索查询Elasticsearch with Ngram始终返回0结果

Elasticsearch是一个开源的分布式搜索和分析引擎，用于存储、搜索和分析大规模数据。它通过使用倒排索引的方式高效地处理结构化和非结构化数据，并提供了强大的全文搜索能力。

Ngram是Elasticsearch中的一个分词器（tokenizer），它将文本切分成一系列的N个连续字符的片段。通常情况下，Ngram被用于处理中文、日文等没有空格分隔符的语言，以及需要对文本进行模糊匹配的场景。

优势：

模糊匹配：Ngram可以对文本进行模糊匹配，允许用户在搜索时容忍一定程度的拼写错误或输入错误，提高搜索的准确性和召回率。
多语言支持：Ngram可以处理不同语言的文本，并且对于中文、日文等没有空格分隔符的语言尤为有效。
高性能：Elasticsearch采用分布式架构，可以水平扩展，支持大规模数据的存储、搜索和分析。Ngram作为其中的一种分词器，在高负载的情况下仍能保持较高的性能。
灵活性：Elasticsearch提供了丰富的查询语法和API，使得用户可以根据自己的需求进行高级搜索、过滤和聚合操作。

应用场景：

搜索引擎：Ngram可以用于构建全文搜索引擎，支持用户通过关键词进行快速搜索和检索。
电商网站：在电商网站中，用户经常需要对商品进行搜索和筛选。Ngram可以提供更精准的搜索结果，同时容忍用户的输入错误，提升用户体验。
社交媒体分析：对社交媒体数据进行搜索和分析时，Ngram可以提供更准确的结果，从而帮助用户了解用户观点、情感倾向等信息。
日志分析：Ngram可以帮助用户对大规模日志进行搜索和分析，快速定位和解决问题。

腾讯云相关产品推荐：腾讯云提供了一系列与Elasticsearch相关的产品和服务，以下是其中几个常用的产品：

TencentDB for Elasticsearch：腾讯云的托管式Elasticsearch服务，提供了高可用、高性能的Elasticsearch集群，无需用户自行搭建和维护。产品链接：https://cloud.tencent.com/product/es
CDN：腾讯云的内容分发网络服务，可以加速网站、应用程序和静态内容的访问速度，提升用户体验。产品链接：https://cloud.tencent.com/product/cdn
CVM（云服务器）：腾讯云提供的弹性云服务器，可以用于部署和运行Elasticsearch集群。产品链接：https://cloud.tencent.com/product/cvm
VPC（私有网络）：腾讯云的虚拟私有网络服务，可以提供安全可靠的网络环境，用于隔离和保护Elasticsearch集群。产品链接：https://cloud.tencent.com/product/vpc

请注意，以上推荐的产品仅供参考，具体的选择应根据实际需求和情况进行评估。

相关搜索:术语查询返回0个elasticsearch结果无论查询输入如何，Elasticsearch ngram标记器都会返回所有结果 Elasticsearch查询返回零结果 Elasticsearch搜索API未返回所有结果 Elasticsearch单字查询未返回结果 Elasticsearch查询不会返回所有结果 mysql查询结果空返回0 ElasticSearch:如何使用查询结果进行新搜索位置距离始终返回结果0- ios sdk Firebase搜索查询返回空结果 Elasticsearch使用布尔查询搜索不同的结果使用搜索查询搜索结果返回“随机数”表单返回?查询而不是返回搜索结果页面模糊查询中返回不同值的搜索- Elasticsearch elasticsearch匹配查询返回嵌套字段的空结果为什么这个Elasticsearch查询没有返回任何结果？python + elasticsearch不同字段值查询返回空结果使用Kusto查询语言返回十进制值，该查询语言始终返回0 使用modificationDate的CloudKit查询始终不返回任何结果在elasticsearch中搜索精确值将返回许多结果

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

【Elasticsearch】搜索结果处理和RestClient查询文档

2.搜索结果处理搜索的结果可以按照用户指定的方式去处理或展示。 2.1.排序 elasticsearch默认是根据相关度算分（_score）来排序，但是也支持自定义方式对搜索结果排序。...2.2.分页 elasticsearch 默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了。...elasticsearch中通过修改from、size参数来控制要返回的分页结果： from：从第几个文档开始 size：总共查询几个文档类似于mysql中的limit ?, ?...不过，elasticsearch内部分页时，必须先查询 0~1000条，然后截取其中的990 ~ 1000的这10条：查询TOP1000，如果es是单点模式，这并无太大影响。...、function_score、bool等各种查询： 3.1.2.解析响应响应结果的解析： elasticsearch返回的结果是一个JSON字符串，结构包含： hits：命中的结果 total

3353 0

【全文搜索】全文搜索 PostgreSQL 或 ElasticSearch

在深入研究我的发现之前，让我们澄清一下全文搜索 (FTS)（或“搜索”）与数据库过滤器或查询之间的区别。“搜索”涉及从零开始，然后向其中添加结果。数据库过滤从一个集合开始，然后根据条件从中删除条目。...）测试多达 500,000 条记录时，它始终在大约 25 毫秒内返回结果。...例如，Referencing、Reference、References 可以归结为一个词 Refer 并且在搜索词时，refer 将返回具有该词的任何变体的结果。...NGram 可用于部分搜索单词，甚至从中间搜索单词。最常用的 NGram 类型是 Trigram 和 EdgeGram。模糊性：模糊匹配允许您获得不完全匹配的结果。...例如，搜索单词框也会返回包含 fox 的结果。常见应用包括拼写检查和垃圾邮件过滤。

2.3K3 0

白话Elasticsearch23-深度探秘搜索技术之通过ngram分词机制实现index-time搜索推荐

文章目录概述官网什么是ngram 什么是edge ngram ngram和index-time搜索推荐原理例子 ?.../guide/en/elasticsearch/reference/current/analysis-ngram-tokenizer.html ?...NGram Token Filter: https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-ngram-tokenfilter.html...将每个单词都进行进一步的分词切分，用切分后的ngram来实现前缀搜索推荐功能举个例子两个doc doc1 hello world doc2 hello we 使用edge ngram拆分 h...hello --> hello，doc1 w --> w，doc1 doc1中hello和w，而且position也匹配，所以，ok，doc1返回，hello world ---- ngram和index-time

6014 0

Elasticsearch 查询革新：探索 Wildcard 类型的高效模糊匹配策略

这是一个利用空间换时间的方案，细化查询所需的词根内容，利用精确匹配结果大范围的命中来达到模糊效果。...这一新特性主要针对了之前版本中 wildcard 查询的性能问题，提供了更高效的方式来处理通配符和正则表达式的搜索需求。...第一点，底层还是 ngram 的分词去实现模糊查询的场景，但是这里的 ngram 颗粒度是 3，从功能上满足了模糊查询的需求和保证了 wildcard 查询的高性能。...4.相比 ES 在精确查询场景优秀的性能表现（即 term keyword 的高效，平稳在毫秒级的返回），wildcard 字段在模糊查询场景下的使用还是需要研发人员根据实际场景测试选择。...从 0 到 1 Elasticsearch 8.X 通关视频重磅 | 死磕 Elasticsearch 8.X 方法论认知清单如何系统的学习 Elasticsearch ？ 2023，做点事

2.9K2 0

Elasticsearch 的 NGram 分词器使用技巧

一、什么是NGram 分词器？ NGram分词器是ES自带的具有前缀匹配搜索功能的一个文本分词器。...它能根据文本的步长逐步对写入的文本内容进行约束切割; 二、NGram和index-time搜索推荐原理搜索的时候，不用再根据一个前缀，然后扫描整个倒排索引了，而是简单的拿前缀去倒排索引中匹配即可...官方介绍如下： image.png 链接：https://www.elastic.co/guide/en/elasticsearch/reference/6.8/analysis-ngram-tokenizer.html...2，match_phrase 短语匹配，查询比较严格，查询的精度较高。一般需要跟slop 便宜量配合使用，增加召回成功率。...image.png 因此，我们需要借用slop偏移量来解决这个精确搜索返回为空的问题。

13.9K18 2

ELK系列(6) - Elasticsearch常用接口

这会导致数据缺失，搜索结果可能只能返回一部分。 GET http://localhost:9200/_cluster/health?...ES在查询时依然会查询到分段中这些有删除标志的文件，但是在返回结果时会将其过滤。只有在合并分段时，这些文件才会被真正地物理删除，并释放被占用的内存。...这会导致数据缺失，搜索结果可能只能返回一部分。 GET http://localhost:9200/_cluster/health?...这会导致数据缺失，搜索结果可能只能返回一部分。 GET http://localhost:9200/_cluster/health?...不过需要注意的是，如果查询的索引字段很多，profile参数可能会导致当前的查询效率很慢，返回的结果也会很大。

6982 0

【腾讯云ES】基于NGram分词ES搜索性能优化实践

例如：使用 match api 时，基于 ik_max_word 分词方式对“白色死神”进行分词后，搜索"白色"、"死神"能搜索到，而根据 "白" 进行搜索时，结果确为空。...关于严格匹配我们很容易就能想到模糊查询，es本身也是能支持模糊查询的：方案选择方案一：模糊查询 wildcard && fuzzy 模糊查询的功能有点类似 mysql 中的 like，可以使用正则表达式的通配符来达到模糊搜索的效果...我们可以看看分词效果：POST my-index/_analyze{ "analyzer":"ngram_analyzer", "text":"理想小韭菜"} 其分词结果为： { "tokens...Ngram 能够同时支持 match 与 term 查询，重建索引后，客户端无需变动。4....直接使用 Ngram 分词，单个关键字命中即返回，召回错误率太高，可以搭配使用 match_phrase，通过设定slot偏移量，可以减少智能分词结果差异导致的召回率低的问题，提升搜索准确率。

3.1K4 0

Elasticsearch能检索出来，但不能正确高亮怎么办？

1、问题引出微信群里的线上实战问题：诸位大哥，es中： keyword类型的字段进行高亮查询，值为 123asd456，查询 sd4，高亮结果是 em 123asd456 em 有没有办法只对我查询的...明明查询id的一部分，却高亮结果是整个id串，怎么办？...实际需求：搜索1602，相关数据：160213.O、160218.OF都能召回，且仅高亮搜索字段1602。...对应到Elasticsearch检索，应用场景就更加明确：无分隔符语言文本的切分分词，提高检索效率（相比：wildcard 查询和正则查询）。...返回结果截取片段如下： "highlight" : { "acode" : [ "160213.OF" ]

3.5K2 0

使用 Elasticsearch 的 NGram 分词器处理模糊匹配

接到一个任务：用 Elasticsearch 实现搜索银行支行名称的功能。大概就是用户输入一截支行名称或拼音首字母，返回相应的支行名称。...比如，用户输入"工行"或者"gh"，我需要返回"工行XXX分行"类似这样的结果。我心里嘀咕着：数据库不是支持通配符查询吗？为什么不直接用数据库查询？说归说，但是任务还是要完成的。...之前有在网上看过一篇文章，主要就是说用 Elasticsearch 处理通配符查询不太适合，然后我在评论中看到作者推荐了一个分词器 NGram。..." } } } } } 当某个字段的 analyzer 被指定为 ngram_analyzer，这个字段的查询就都会变成通配符查询...match 查询会对关键词进行分词，而 Lucene 的默认中文分词就是把每个中文字拆开，这样会变成对"工"、"商"两个字做通配符查询。

2.6K6 0

一起学Elasticsearch系列-模糊搜索

前缀匹配：prefix 前缀匹配通过指定一个前缀值，搜索并匹配索引中指定字段的文档，找出那些以该前缀开头的结果。在 Elasticsearch 中，可以使用 prefix 查询来执行前缀搜索。...模糊匹配：fuzzy 模糊查询（Fuzzy Query）是 Elasticsearch 中一种近似匹配的搜索方式，用于查找与搜索词项相似但不完全相等的文档。...用途：纠正拼写错误，模糊查询可用于纠正用户可能犯的拼写错误，可以提供宽松匹配，使搜索结果更加全面。...fuzziness：编辑距离，范围是（0，1，2），并非越大越好，过大召回率高但结果不准确，默认是：AUTO，即自动从0~2取值。...match_phrase_prefix 查询适用于需要同时支持短语匹配和前缀匹配的场景。例如，当用户输入一个搜索短语的前缀时，可以使用该查询来获取相关的文档结果。

5561 0

由 Elasticsearch 空间换时间的线上问题说开去......

1、线上实战问题请教一下各位朋友，关于 ngram 的 slop 影响搜索结果？...2、现况：搜索商品A的SPUCodeText编码：OWBB050，slop设置为49-54无法查询出该商品；slop设置为55及其以上的值，才可以查询出商品A； 3、追求目标：搜索SPUCodeText...篇幅原因，省去了 DSL 定义和查询语句。...3、Elasticsearch 空间换时间啥叫空间换时间，拿当下世界杯的例子一看就明白。如下解说员说的：“15人才能打赢”。15人比正常的11人远多4人，这就是多了空间，而换取了时间或结果。...Elasticsearch 中 Ngram 分词本质就是空间换时间的方式，以极小的粒度切分文档，空间存储激增、写入速度会受到影响，但换来了检索效率的提升！

5641 0

使用ES Suggester对ASR语音识别的地址进行纠错

纠错方案我们具有几亿的地址数据，除了用于模型的finetune，我们计划用此数据通过搜索的方式对ASR的识别结果进行纠错。...ASR语音识别场景的特征是，模型容易识别出同音字和发音相似的字，因此，搜索纠错的主要策略基于拼音相似的原理实现。对于纠错而言，误纠是无法避免的，无法保证搜索的TOP1就一定是正确结果。...因此，没有采用在ASR模型输出之后，对其进行搜索TOP1结果的替换，因为，不仅会额外增加识别的时延（N亿级的复杂模糊查询会带来一定的时延），而且会导致模型的原输出的丢失。...由于APP在用户陈述完公司单名或地址后，会返回TOP5结果。因此，方案最后为，业务BU在收到ASR的识别结果后，单独调用搜索API，得到TOP5的公司单名或地址，并返回给用户选择。...elasticsearch的搜索query，大家比较熟悉，但是建议suggester就相对陌生，建议大家可以先了解suggester的知识。

2K5 0

Elasticsearch自定义分析器订单号搜索

使用edge ngram将每个单词都进行进一步的分词和切分，用切分后的ngram来实现前缀搜索,比如’OD5046240000014238’这样一个订单号会被分解成’O’,’OD’,’OD’,’OD5’...,’OD50’…‘OD5046240000014238’这样子,就可以实现前缀搜索或者搜索推荐...." : { "type" : "edge_ngram", "min_gram" : 4, "max_gram" : 25 } },...localhost:9200/myindex/_analyze' -d '{ "text":"OD5046240000014238", "analyzer":"order_no_analyzer" } ' 返回结果...ElasticSearch 解析机制常见用法库之 Tokenizer常用用法 Elasticsearch - 指定分析器二十四、Elasticsearch通过ngram分词机制实现搜索推荐

8452 0

严选 | Elastic中文社区201903错题本

/question/1094 1.2 能否在一个查询中查询两个条件在对两个结果进行除法计算?...请教各位一个问题，我们有一个场景，想通过1个查询语句，计算两个查询结果的除法，比如，我有一个查询条件，用 idc: "BJ" 能统计出有100条数据符合要求，第二个条件 idc: "SH"，能统计出有...= 0 ? doc['x_value'].value / doc['y_value'].value : 0" } } } } 1.3 ngram分词器会占很多内存吗?...所以应用的方向不同，因此 ES 使用了倒排索引、KD数等其他数据结构实现了搜索 1.16 将文档存储在es外面，同时使es搜索结果只返回文档基本信息，这样做能否提高性能？...问题描述：就是说，如果文档比较大，es把它作为搜索结果整个返回的时候，可能对es性能造成压力。

1.7K4 0

elasticsearch倒排索引与分词

image 倒排索引-查询过程查询包含“搜索引擎”的文档通过倒排索引获得“搜索引擎”对应的文档id列表，有1，3 通过正排索引查询1和3的完整内容返回最终结果倒排索引-组成单词词典（Term...安装目录下执行命令，然后重启es bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/...，执行，然后重启es bin/elasticsearch-plugin install file:///path/to/elasticsearch-analysis-ik-6.3.0.zip ik测试...将所有term转为小写 stop 删除停用词 Ngram 和 Edge NGram 连词分割 Synonym 添加近义词的term Token Filters测试 POST _analyze {...（Search Time），会对查询语句进行分词查询时通过analyzer指定分词器通过index mapping设置search_analyzer实现一般不需要特别指定查询时分词器，直接使用索引分词器即可

1.5K1 0

Elasticsearch 电商场景：明明有这个关键词，但是搜不出来，怎么办？

比如我搜：小米6s，搜出来的结果要精确匹配到：小米6s，并且按照用户的发布时间倒序排序。...探究 | 明明存在，怎么搜索不出来呢？ Elasticsearch能检索出来，但不能正确高亮怎么办？...2.2 全文检索的本质全文检索的本质是查询待检索的关键词在写入所创建的索引中是否存在的过程。存在，则召回；不存在，则返回空。...new_spy_uat2", "_id" : "1" } } { "content" : "新品豪车❗️限1000单食物链巴氏小仙包犬湿粮360g16.9，折8.4/袋人食级鲜肉泥，健体增肌首选(gkqHWGV0r4J...要说明的是：Ngram 的本质是空间换时间，可能会导致写入的延时以及存储的成倍增长，选型一定要慎重。只有高精准检索要求的场景才考虑 Ngram 分词。

2751 1

ES系列六、ES字段类型及ES内置analyzer分析

ElasticSearch对字符串拥有两种完全不同的搜索方式....Text：会分词，然后进行索引支持模糊、精确查询不支持聚合 keyword：不进行分词，直接索引支持模糊、精确查询支持聚合 text用于全文搜索的...False: 表示该值的有:false, "false", "off", "no", "0", "" (empty string), 0, 0.0 True: 所有非False的都是true 重要的参数...，这些处理算法被称为Token Filter(词元处理器), 被处理后的结果被称为Term(词)，文档中包含了几个这样的Term被称为Frequency(词频)。...从名字可以看出来，default是索引和搜索时用的默认的analyzer，default_index是索引时用的默认的analyzer， default_search是查询时用的默认analyzer。

2.4K2 1

Elasticsearch探索：Suggester API（一）

用户输入的 “lucen” 是一个错误的拼写会到指定的字段 “body” 上搜索，当无法搜索到结果时（missing），返回建议的词。...，查询分词使用简单分词器 "analyzer": "simple"，不会因为查询分词而把搜索词进行分词结果：{ "took" : 38, "timed_out" : false, "_shards...，查询分词使用简单分词器 "analyzer":"simple"，不会因为查询分词而把搜索词进行分词。...搜索"elastic is"，会发现又有结果，因为这次输入的text经过english analyzer的时候，在查询分词中is也被剥离了，只需在FST里查询"elastic"这个前缀，自然就可以匹配到了...-这意味着您可以在搜索中输入错误，并且仍然可以得到结果。

5.4K2 3

谈谈最近ES运维中遇到的几个有意思的问题

一、Kibana 上无法正常Discovery 日志的问题问题描述：客户同一个集群，同一个索引里的某些文档，用API能直接搜出来，但是在discovery上不能正常搜索，换另外一个id又能正常展示....解决办法： 1，通过对比该索引里的不同文档具体属性可知，能在discovery界面正常返回的带时间戳字段，而不能返回的文档并不具备时间戳字段“@timestamp”，因此，不具备该字段的文档就无法正常在...kibana返回，但是API确是可以正常搜索。..._0", "cause": { "type": "mapper_parsing_exception", "reason": "failed to parse", "caused_by": { "type..."ngram_tokenizer": { "type": "ngram", "min_gram": 1,

1.3K4 1

第18篇-用ElasticSearch索引MongoDB,一个简单的自动完成索引项目

我的Elasticsearch系列文章，逐渐更新中，欢迎关注 0A.关于Elasticsearch及实例应用 00.Solr与ElasticSearch对比 01.ElasticSearch能做什么？...开发工具 11.Elasticsearch查询方法 12.Elasticsearch全文查询 13.Elasticsearch查询-术语级查询 14.Python中的Elasticsearch入门 15...为此，如果我搜索单词，我将假设MongoDB将返回同一文章 $ db.articles.find( { $text: { $search: "chi" } } ) 这是MongoDB对全文搜索功能的最大限制之一...这将导致不必要的结果，因为我们要 chi 专门搜索文本，而不是 c或ch或chi 。这就是为什么我们必须将分析仪显式设置为标准分析仪的原因。...继续，在articles集合中插入一个新文档，然后向ES索引发送查询，该文档应返回。

5.3K0 0

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭