ElasticSearch术语聚合脚本时区转换
ElasticSearch是一个开源的分布式搜索和分析引擎，它提供了强大的全文搜索功能和实时数据分析能力。在ElasticSearch中，术语聚合（Term Aggregation）用于对文档集合中的术语进行聚合统计，以便分析数据中的关键词频率和分布情况。
术语聚合脚本时区转换是指在进行术语聚合时，对聚合结果中的时间字段进行时区转换的操作。在实际的数据分析过程中，往往需要对不同时区的数据进行统一的分析和比较，这时就需要对时间字段进行时区转换，以便得到准确的结果。
ElasticSearch提供了脚本机制，可以在聚合操作中使用脚本来实现各种复杂的数据处理和转换操作，包括时区转换。可以使用ElasticSearch内置的脚本语言（如Painless）来编写脚本，并在聚合操作中调用。
对于时区转换，可以使用脚本中的日期函数和时区设置来实现。具体操作步骤如下：
- 在聚合操作中，指定要进行聚合的字段，并设置脚本参数来表示目标时区，例如：
"aggs": {
"terms_agg": {
"terms": {
"field": "keyword"
},
"aggs": {
"date_agg": {
"date_histogram": {
"field": "timestamp",
"calendar_interval": "day",
"time_zone": "+08:00" // 设置时区为东八区
}
}
}
}
}- 在聚合操作中，使用脚本来实现时区转换。可以使用ElasticSearch内置的日期函数来进行日期和时间的操作，例如：
"aggs": {
"terms_agg": {
"terms": {
"field": "keyword"
},
"aggs": {
"date_agg": {
"date_histogram": {
"field": "timestamp",
"calendar_interval": "day",
"time_zone": "+08:00", // 设置时区为东八区
"script": {
"source": "doc['timestamp'].value.plusHours(8)" // 将时间字段加上8个小时，进行时区转换
}
}
}
}
}
}通过以上的配置和脚本，ElasticSearch可以将聚合结果中的时间字段进行时区转换，以便进行准确的数据分析和统计。
关于ElasticSearch的更多信息和介绍，可以参考腾讯云的相关产品文档和官方网站：
相关·内容
我想编写一个聚合查询，它使用脚本来计算elasticsearch中特定字段的大小。然后，我想在grafana中可视化这个查询。但是我不能将这个查询转换到grafana仪表板上。elasticsearch中的DSL查询是：
GET index_name/_search
{
"query": {
"term": {
"content_type": {
"value": "voice"
}
}
},
"aggs": {
"
浏览 25提问于2022-12-04得票数 0
我很新是ElasticSearch，我会感谢你的帮助。
我有个索引。
这是数据的一个例子：
{
"took" : 12,
"timed_out" : false,
"_shards" : {
"total" : 20,
"successful" : 20,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"valu
浏览 6提问于2022-06-30得票数 0
我正在尝试使用elasticsearch中的数据在kibana中呈现条形图。我的elasticsearch中有两个文档。
Document1
{
"Name": "BDV301",
"CheckName": "ADAccountPrivileges",
"CompletedDate": "2015-12-15T16:05:35.607Z"
}
Document2
{
"Name": "BDV301",
"CheckNa
浏览 4提问于2015-12-16得票数 2
在ElasticSearch1.7中是否有一种类似于的方法？
注意：
我不能切换到elasticsearch 2.x
自ElasticSearch2.0.0-beta1以来，就可以使用最大桶聚合。
浏览 2提问于2016-03-23得票数 0
回答已采纳
我正在尝试使用Java API来查询elasticsearch，以获得所有不同的字段。
TermsAggregationBuilder aggregation =
AggregationBuilders.terms("count").field(field).
size(Integer.MAX_VALUE).
order(BucketOrder.key(true));
我事先不知道字段的基数。可以在不影响弹性搜索性能的情况下通过Integer.MAX_VALUE吗？或者还有其他选择吗？
浏览 0提问于2019-03-15得票数 0
我在收集ElasticSearch上的报纸文章。我想为一个主题找到最递归的单词。有可能用ElasticSearch吗？我举一个例子来更好地解释:我在我的收藏中搜索唐纳德·特朗普( Donald Trump )，我找到了2000篇文章。是否可以解析所有这些文章，收集所有令牌，并对它们进行排序以进行计数？
就像这样：
{Donald Trump {USA: 200 times on 150 docs}, {presidential: 180 times on 130 docs},{Clinton: 150 times on 100 docs},{republican: 120 times on
浏览 6提问于2016-02-22得票数 0
回答已采纳
2回答
当我为文本建立索引时，我将每个单词的频率计数存储在数据库中。这很好用，因为所有的搜索都是基于整个单词的，并且所有可能的搜索都是已知的。但现在我想添加前缀搜索(搜索单词的一部分)的选项。我可以使用以下命令从elasticsearch的前缀搜索中获得结果/命中结果：
GET /my_index/address/_search
{
"query": {
"prefix": {
"main_text": "word_part"
}
}
}
请参阅：
这是我当前的映射：
浏览 0提问于2018-11-01得票数 3
1回答
我有一组帖子，它们的标签被导入到Elasticsearch中。指标如下：
语言类型:关键字
标签(数组)-类型:关键字
created_at -类型:日期
单个文档看起来是这样的：
{ "language": "en", "tags": ["foo", "bar"], created_at: "..." }
我试图使用以下方法获取数据集上的重要术语查询：
GET _search
{
"aggregations": {
"significant_
浏览 0提问于2018-04-22得票数 1
回答已采纳
我正在开发一个将Elasticsearch集成到自身的平台。这个软件的某些部分基本上是Elasticsearch的一种前端。 Kibana以某种方式知道特定Elasticsearch数据类型支持哪些聚合。我检查了Kibana发送的HTTP请求，但我找不到该信息的来源。(也许，我还不够彻底。) 所以，我的问题是: Kibana如何确定Elasticsearch数据类型支持哪些聚合？有没有可能通过Elasticsearch API获得它，或者它是在客户端硬编码的( Kibana)？ 示例： ?
浏览 35提问于2020-10-28得票数 0
我使用logstash-input-jdbc插件将我的数据从mysql同步到elasiticsearch。但是，当我查看elasticsearch中的数据时，我发现所有date类型的字段格式都从"yyyy-MM-dd“变成了”yyyy-mm-dd‘T’is :mm:ss.SSSZ“.I有将近200个字段的类型是date，所以我想知道如何配置logstash，以便它可以输出"yyyy-MM-dd”格式，而不是“yyyy-mm-dd‘T’is:mm:ss.SSSZ”。
浏览 0提问于2019-01-07得票数 0
我有以下ElasticSearch格式的文档：
"ipAddress": "192.168.10.12", "timestamp": "25 Oct 2015 20:00:00", "switchovers": 2
"ipAddress": "192.168.10.12", "timestamp": "26 Oct 2015 20:00:00", "switchovers": 1
如何编写elasticsearch聚合来查找按IP地址
浏览 8提问于2015-11-24得票数 1
我终于设法让弹性搜索索引以我想要的方式工作，使用子字段和not_analyzed对某些字段的原始值进行索引。然而，在某些情况下，由于这些字段的源数据具有null/空值，我在facets部分得到了如下结果：
"things": {
"_type": "terms",
"missing": 187,
"total": 12214,
"other": 10608,
"terms": [
{
"
浏览 0提问于2014-05-10得票数 2
这是我在elasticsearch中索引的数据的一部分：
{
"country" : "India",
"colour" : "white",
"brand" : "sony"
"numberOfItems" : 3
}
我想得到在每个国家的基础上，每个颜色和每个品牌的numberOfItems总数。有没有办法在elasticsearch中做到这一点？
浏览 4提问于2015-05-06得票数 4
我们正在使用Elasticsearch在我们的站点中生成标签云。用于创建标签云的查询如下所示。
{
"size": 0,
"facets": {
"tagcloud": {
"terms": {
"field": "body.body",
"size": "20",
"exclude": [
"http",
浏览 0提问于2015-08-30得票数 1
如何在elasticsearch中配置索引，以使聚合中的参数"include“不区分大小写？
I have this index:
PUT index {"settings":
{"analysis": {
"analyzer": {
"my_normalizer": {
"type": "custom",
"tok
浏览 0提问于2018-11-01得票数 0
1回答
目前，我有以下映射：
array(
'index' => 'my_index',
'body' => array(
'mappings' => array(
'products' => array(
'_source' => array('enabled' => false),
浏览 3提问于2017-04-25得票数 0
回答已采纳
我使用的是ElasticSearch 7.1.0和Kibana7.1.0，我的数据如下所示 {
"user":"8a195d1b-24c9-11e5-8f96-00142273155d",
"session_id":"4d024a90-b141-4ee1-b4e3-e2022fb2f581",
"timestamp":1559681962442,
"recieved_timestamp":1559681964197,
"feature_id":"
浏览 29提问于2019-06-05得票数 0
我需要在elasticsearch中按7个字段进行聚合，然后检索数据TopHits并进行Sum和Avg计算。有没有可能在没有很多循环/递归的情况下获得最新的命中和计算？
浏览 1提问于2016-08-05得票数 0
回答已采纳
在elasticsearch中，我总是在doc_count_error_upper_bound属性上获得较高的聚合查询值。对于索引了近十亿个文档的ES集群，它有时会高达8000或9000。我在一个大约有5M文档的索引上运行查询，得到的值大约是300到500。
问题是我的结果有多不正确(我正在尝试基于下面的JSON的前20个计数查询)
"aggs":{ "group_by_creator":{ "terms":{ "field":"creator" } } } }
浏览 3提问于2016-05-30得票数 14
回答已采纳
给定这个模拟sql请求的elasticsearch查询，“从表中选择count(distinct(关键字))作为nb”。
{"aggs":{"nb":{"terms":{"field":"keyword","size":99999999}}}}
有什么更快的方法来获得在我的弹性中的不同关键字的总数吗？
浏览 2提问于2022-01-26得票数 0
回答已采纳
我想从elasticsearch获得名为"name“的字段中的唯一值，我不知道如何将值必须是唯一的条件放在哪里。
这项工作的目的是从elasticsearch数据库中获取所有唯一的名称。
So basically what i need is a aggregation query that fetch the unique values
有人能帮我解决这个问题吗，非常感谢。
浏览 1提问于2015-09-15得票数 0
回答已采纳
1回答
我是Elasticsearch的新手，我正在尝试获取所有具有相同移动类型的文档。我找不到相关的问题，现在陷入困境。
curl -XPUT 'http://localhost:9200/sessions/session/1' \
-d '{"useragent": "1121212","mobile": "android", "browser": "mozilla", "device": "computer", "service
浏览 1提问于2016-03-23得票数 0
我在AWS上有一个elastsicsearch实例(我有一个类似的实例，它工作得很好。
我有一个lambda函数，可以将日志发送到elasticsearch。它在一段时间后停止工作，现在我看不到任何新的日志。我查看了日志，发现了以下内容：
org.elasticsearch.transport.RemoteTransportException: [tqStC42][10.0.1.90:9300][indices:data/read/search[phase/query]]
Caused by: java.lang.IllegalArgumentException: size must be p
浏览 1提问于2017-01-13得票数 1
我正在使用NEST。尽管大小设置为10000，但从ElasticSearch聚合返回的存储桶数量始终为10 (默认值
浏览 17提问于2017-08-25得票数 0
回答已采纳
我需要从索引Y中的所有文本中得到一个单词X的计数，它只有一个字段“内容”。请注意，我需要一个特定单词的计数，它在所有文档中总共发生了多少次。据我所知，ES对此并没有很好的优化(因为这是一种文本类型)，但这是针对大学家庭作业的，所以我别无选择。
到目前为止，我已经尝试过(取自)：
{
"script_fields": {
"phrase_Count": {
"script": {
"lang": "painless",
"source":
浏览 10提问于2021-10-26得票数 0
回答已采纳
我有一个DocumentVersions索引--文档的不同版本。
{versionId: 1, documentId:1, ...},
{versionId: 2, documentId:1, ...},
{versionId: 3, documentId:2, ...},
{versionId: 4, documentId:2, ...},
...
默认情况下，用户只应接收最新版本的文档。
在Solr中，我使用了- group.field=documentId, group.limit=1, group.sort=versionId desc。
我怎样才能用elasticsearch实现类似
浏览 6提问于2016-07-18得票数 0
我有一个ElasticSearch索引，其中包含超过1000个品牌的数百万种产品。
我必须使用什么查询才能获得索引中所有品牌的列表？
产品条目示例：
{
_index: main
_type: one
_id: LA37dcdc7D70QygoV4KjfRU0hqUDhPs=
_version: 4
_score: 1
_source: {
pid: S2dcdcd528950_C243
mid: 6540
url: http://being.successfultogether.co.uk/
浏览 1提问于2014-01-20得票数 1
1回答
有没有办法使用Elastic search和aggregation进行分页？elasticsearch版本是2.3。以下是查询：
{
"query": {
"match": {
"clientMac": "88:"
}
},
"aggs": {
"top_tags": {
"terms": {
"field": "clientMac.rawData"
},
浏览 10提问于2018-01-08得票数 1
我已经根据字段"A“对数据进行了索引。大约有18个值与相同的"A“值相关联。因此，在索引时，elasticsearch为所有18条记录分配了相同的"A“值，但为每条记录分配了特定的版本。
例如:记录1: A=1、_version=1，记录2: A=1、_version=2，记录3: A=1、_version=3等。
问题是，如何使用Java检索属于单个"A“值的所有这些记录？(在这种情况下，BoolQuery、termsQuery、Scroll、multiMatchQuery都没有用处。因此产生了疑问。)
浏览 2提问于2016-06-07得票数 0
我正在尝试elasticsearch 2.3中的日期范围聚合。我想将它们汇总为过去30天，过去7天和今天。因此，我的聚合查询的一部分如下：
"range": {
"ranges": [
{
"from": "now-30d/d",
"to": "now/d"
},
{
"from": "now-7d/d",
"to": "now/d"
浏览 0提问于2017-02-22得票数 0
在这个官方网站上
他们有这样的疑问：
curl -XPOST 'localhost:9200/bank/_search?pretty' -d '
{
"size": 0,
"aggs": {
"group_by_state": {
"terms": {
"field": "state"
}
}
}
}'
然后说它类似于：
SELECT state, COUNT(*) FROM bank GROUP B
浏览 2提问于2016-01-26得票数 0
回答已采纳
如何解决elasticsearch结果中的重复问题？或者我们可以用javascript来删除重复的代码，像这样吗？
"hits": [
{
"_index": "yourservice",
"_type": "categories",
"_id": "AVGbSNBXiBkfr-xhHUl8",
"_score": 0.40062606,
"_timestamp": 1450009219159,
&#
浏览 2提问于2015-12-13得票数 0
回答已采纳
我有问题，我从elasticsearch 2.x更新到5.1。然而，我的一些数据在较新的elasticsearch中不起作用，因为在2.x之前，似乎是因为这个“字段数据在文本字段上被默认禁用”的。
有没有办法将fielddata自动转换为文本字段？
我尝试过这样的代码
curl -XPUT http://localhost:9200/_template/template_1 -d '
{
"template": "*",
"mappings": {
"_default_": {
"pro
浏览 1提问于2017-01-18得票数 3
当没有向建议端点提供输入时，我希望获得默认的选项集。但
GET /my_index/_suggest
{
"topics": {
"completion": {
"field": "suggest_topic",
"size": 10
},
"text": ""
}
}
空返回。
我希望用户在第一次打开使用此端点的自动完成字段时提供选项的数量。我考虑过使用/_search并合并结果，但我认为在Elas
浏览 0提问于2016-11-30得票数 1
1回答
我有两种类型的日志消息：
Jul 23 09:24:16 rrr mrr-core[222]: Aweg3AOMTs_1563866656871111.mt processMTMessage() #12798 realtime: 5.684 ms
Jul 23 09:24:18 rrr mrr-core[2222]: Aweg3AOMTs_1563866656871111.0.dn processDN() #7750 realtime: 1.382 ms
第一条消息是一种发送的消息，第二条是确认消息被传递的消息。
它们之间的区别是我从"id“中分离出来的后缀，可以对其进行查询。
这些
浏览 0提问于2019-07-29得票数 1
回答已采纳
嗨，我可以在elasticsearch上检查不同值的代码结果吗？
结果1:蓝色结果2:红色结果3:蓝色结果4:黑色<代码>H 19</code>结果5:白色<代码>H 210</代码></代码>结果6:蓝色<代码>H 212</代码><代码>H 113</代码>结果7:绿色<代码>H 214</代码><代码>H 115</代码>结果8:红色<代码>H 216</代码><代码>H 117</代码>
浏览 3提问于2021-03-29得票数 0
全局聚合没有考虑到我的elasticsearch中的所有文档。
我试图按照文档的说法，将全局聚合放在最高级。
全局聚合定义了搜索执行上下文中所有文档的单个桶。此上下文由您正在搜索的索引和文档类型定义。
全局聚合器只能作为顶级聚合器放置。
{
"size": 0,
"aggs":{
"all_documents":{
"global":{},
"aggs":{
"all_totals":{
浏览 0提问于2019-04-05得票数 0
1回答
我在Elasticsearch中有以下映射：
PUT /traffic-data
{
"mappings": {
"traffic-entry": {
"_all": {
"enabled": false
},
"properties": {
"CameraId": {
"type":"keyword"
},
浏览 5提问于2017-10-12得票数 0
回答已采纳
1回答
我是Elasticsearch的新手，我想学习如何为子字符串编写不同的查询。就像我们在SQL中所做的：
SELECT distinct substring(abc,3,5)
FROM table_a
我有这个查询，我想对消息的substring(message,35,10)部分进行不同的选择：
{
"query" :
{ "range":{
"@timestamp" : {
"gte" : "now-6d/d",
"lt" :
浏览 5提问于2017-01-11得票数 1
我的elasticsearch索引中有10种类型。在搜索术语"test“时，我希望获得与该查询匹配的所有文档以及与该查询至少匹配一次的所有类型的列表()。
我知道我可以通过查看所有的结果来得到这个列表，但我想还有更好的方法..。
谢谢!
浏览 4提问于2013-10-23得票数 0
我在elasticsearch中创建了多个索引，并向所有这些索引传递了一个查询。有什么方法可以知道，每个指数有多少个结果？这是我的elasticsearch头的屏幕截图，显示了应用于两个索引的单个聚合
截图：
在这里，如图所示，我在索引、食品查找和漫画(红色方框1)上做了一个名为"posted_time“的聚合。但是在响应窗口的右边，只显示了索引"comics“的结果。我怎样才能看到其他指数的结果呢？
浏览 5提问于2015-03-12得票数 0
回答已采纳
我在试着数一下在不同的文件中有多少种成分出现。我的索引体与此类似。
index_body = {
"settings":{
"index":{
"number_of_replicas":0,
"number_of_shards":4,
"refresh_interval":"-1",
"knn":"true"
}
},
"mappings"
浏览 1提问于2022-06-13得票数 0
回答已采纳
2回答
我在使用Elasticsearch (2.0版)时遇到了一个问题，我试图从一堆文档中获取有意义的术语，但它总是什么也不返回。
下面是我的索引的模式：
{
"documents" : {
"warmers" : {},
"mappings" : {
"document" : {
"properties" : {
"text" : {
"index"
浏览 6提问于2015-11-13得票数 3
1回答
这是的后续问题.
基本上，我希望在ElasticSearch中执行全文搜索，然后将结果集传递给SQL以运行聚合查询。下面是一个例子：
假设我们在一个有10B记录的金融类数据库中搜索“终结者”。它有下列匹配：
“终结者”(1M结果)
“终结者2”(10米结果)
"XJ4-227“(在这里的结果==>中，”终结者“在标题的概要中)
我们不是传回10+M‘d，而是传回以下的“精简查询”--
...WHERE name in ('Terminator', 'Terminator 2', 'XJ4-227')
我们如何编写
浏览 1提问于2017-02-08得票数 0
回答已采纳
我试图对elasticsearch聚合的结果桶进行排序。我有一大套文件：
"mappings": {
"properties": {
"price": {
"type": "double"
},
"product_name": {
"type": "text"
},
"product_id": {
浏览 3提问于2019-10-25得票数 0
回答已采纳
从下面的JSON中，我想知道elasticsearch是否有能力返回唯一的结果，即使它在JSON中重复。 即输出 {
"hits" : {
"hits" : [
{
"inner_hits" : {
"data.addresses" : {
"hits" : {
"hits" : [
{
"_source"
浏览 18提问于2020-09-14得票数 0
我使用“术语聚合”来了解一个单词在elasticsearch中重复了多少次。此方法适用于短字符串字段。
我的简单术语聚合：
{
"query": {
"bool": {
"must": [
{
"query_string": {
"analyze_wildcard": true,
"query": "*"
}
}
],
浏览 3提问于2017-09-29得票数 0
1回答
搜索集合。他们是什么?
、、、
有人能用简单的句子解释什么是elasticsearch聚合吗？我搜索了一下，但是到处都有关于如何使用它和语法的一些解释。但我不明白它们存在的原因。他们的主要目的是什么。他们构建的是什么样的查询？
在我的搜索系统中，我需要趋势标签(当你输入搜索时建议术语)，我面对的是弹性的aggs，我不知道它们是什么。
浏览 4提问于2017-11-22得票数 0
回答已采纳
我试图获得具有特定条件列表的文档，如下所示：
GET /_search
{
"query" : {
"terms" : {
"md5" : ["file_1", "file_2"]
}
}
}
是否可以将搜索结果限制在每个术语中的一个文档上？因此，我应该有一个用于"file_1"的文档，一个用于"file_2"的文档等等。
我试图完成的是获取列表中每个术语的最新文档的Elasticsearch _id。我可以这样
浏览 0提问于2019-06-26得票数 1
回答已采纳
我试图得到前5名的产品销售，按收入排序使用elasticsearch在Rails。
下面是我的问题：
query = {
bool: {
filter: {
bool: {
must: [
{ term: { store_id: store.id } } # Limiting the products by store
]
}
}
}
}
aggs = {
by_revenue: {
terms: {
s
浏览 0提问于2016-06-17得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
