在ElasticSearch/Logstash 7.0中构建包含多个表的索引
在ElasticSearch/Logstash 7.0中构建包含多个表的索引，可以通过以下步骤实现：
- 索引的概念：在ElasticSearch中，索引是用于存储和组织数据的逻辑容器。它类似于关系数据库中的表，但具有更灵活的结构和功能。
- 构建多个表的索引：在ElasticSearch中，可以通过创建多个类型（type）来模拟多个表。每个类型可以具有不同的字段和映射，类似于关系数据库中的表结构。
- 映射（Mapping）：在ElasticSearch中，映射定义了索引中每个字段的数据类型和属性。通过为每个类型定义不同的映射，可以实现多个表的结构。
- Logstash数据处理：Logstash是一个用于数据收集、处理和传输的开源工具。可以使用Logstash将数据从不同的源（如数据库、日志文件等）收集并发送到ElasticSearch索引中。
- 数据导入：使用Logstash的input插件从不同的数据源中读取数据，并使用filter插件对数据进行处理和转换。然后，使用output插件将处理后的数据发送到ElasticSearch索引中。
- 查询和检索：一旦数据导入到ElasticSearch索引中，可以使用ElasticSearch的查询语言（如DSL）进行高效的数据检索和分析。
- 应用场景：构建包含多个表的索引在许多场景中都很有用，特别是在需要对不同类型的数据进行关联和分析时。例如，可以将用户信息、产品信息和订单信息存储在不同的类型中，并通过索引的方式进行关联查询和分析。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Elasticsearch：https://cloud.tencent.com/product/es
- 腾讯云Logstash：https://cloud.tencent.com/product/logstash
相关·内容
1回答
"(key)字段[@timestamp]未找到“重启elasticsearch节点
elasticsearch、logstash、kibana
出于测试目的，我目前正在运行单个elasticsearch节点，该节点由logstash跟踪apache访问日志提供，以便我可以在扩展到集群中的多个elasticsearch节点之前学习如何使用logstash和elasticsearch，并使用logstash跨多个主机和服务进行日志聚合。在了解了更多关于kibana如何针对elasticsearch进行查询之后，我认为日志文件中
浏览 0提问于2014-10-11得票数 1
1回答
如何配置logstash文件使嵌套对象位于sql查询中的另一个嵌套文件中
elasticsearch、nested、logstash、plpgsql、elasticsearch-aggregation
我是Elasticsearch和logstash的新手，我对嵌套对象有一个问题。所以我想问的是，如何在另一个嵌套字段中创建包含多个嵌套字段的索引。我如何从postgres中的数据构建logstash文件配置中的数据，以便在elasticsearch中建立类似以下内容的索引？
浏览 2提问于2021-03-23得票数 0
1回答
集中式日志服务器/创建一个日志存储-*类似于索引
elasticsearch、logstash、kibana、kibana-4
我正在尝试配置ELK从两个不同的应用程序中获取日志。据我所知，Elasticsearch索引类似于数据库。所以我的问题是：
Is it advisable to configure separate indices for different applications and Why?ES具有内置的功能，默认的logstash-*索引每天创建一个索引，这取决于它从日志中收到的时间戳。现在，我如何为我的</em
浏览 1提问于2015-07-27得票数 0
回答已采纳
1回答
在ElasticSearch/Logstash 7.0中构建包含多个表的索引
elasticsearch、logstash
我在Oracle中有20个表，所有表都包含(以及其他)以下列: id、name、description和notes。我希望用户输入文本，在名称，描述和/或所有表的注释中搜索的文本，并返回结果，以返回哪个(S)表和id(s)具有该文本。 在Logstash 7.0配置文件中，是否需要为每个表定义一个jdbc输入？或者输入应该是具有所有表的
浏览 9提问于2019-04-15得票数 0
回答已采纳
1回答
如何索引规范化SQL数据库用于弹性搜索
php、sql、elasticsearch、logstash、kibana
我已经用一个与其Elasticsearch索引同步的表索引数据库(SQL)。现在，我想用多个规范化表索引数据库。那么，我应该如何索引这些表呢？在索引数据库表期间，是否应该在logstash文件中写入多个联接查询，还是应该逐一索引每个表并执行多个索引搜索？但是
浏览 3提问于2020-07-01得票数 0
2回答
Logstash动态分配模板
logstash
我读到有可能为索引指定动态名称，如下所示： cluster => "logstash" }elasticsearch {
cluster => "logstash</e
浏览 1提问于2014-11-04得票数 3
1回答
logstash :使用一个logstash文件创建多个索引
json、postgresql、elasticsearch、nosql、logstash
我使用logstash作为postgres数据库和elasticsearch之间的管道。我的postgres数据库中有两个表(表用户和表项目)。如果我尝试以单独的logstash文件单独输入每个表，它可以正常工作，但我希望只使用一个logstash文件在elasticsearch中创建2个索引，并在一个索引中输入每个postgres表</
浏览 8提问于2020-10-12得票数 0
回答已采纳
2回答
Mysql到Elasticsearch -不会创建索引和导出数据
mysql、database、jdbc、elasticsearch、logstash
我试图将MySQL表导入Elasticsearch.It是一个包含10个不同列的表，其中8位VARCHAR设置为主键。MySQL数据库位于远程主机上。为了将数据从MySQL传输到Elasticsearch，我决定使用Logstash和jdbc MySQL驱动程序。
我假设Logstash会在不存在的情况下为我创建索引。同样，在执行logstash.conf脚本时，Elast
浏览 4提问于2016-06-23得票数 1
回答已采纳
1回答
如何在使用Logstash时自动更新Elasticsearch索引
elasticsearch、logstash
一个基于Elasticsearch，另一个基于Logstash。我对容器所做的唯一改变是包含了配置文件。我在推送到git时会自动构建它们。我想自动化部署，但是，我不能，因为每当更改模板时，都需要重新创建索引。 我设置了Logstash来管理Elasticsearch模板。.conf文件的输出配置如下： output { hosts => [&
浏览 34提问于2021-08-23得票数 0
尝试使用教程：从Kibana加载示例数据，但面临" error“：{ " type”："illegal_argument_exception"，“原因”的错误：“不同类型的映射器geo.coordinatesgeo_point，merged_type ObjectMapper”{“索引”：{ "_index“："logstas
浏览 1提问于2019-06-12得票数 1
2回答
Kibana中的“索引模式:请指定默认索引模式”
linux、logging、elasticsearch、logstash、kibana
我试图为麋鹿创造一个简单的你好世界，并且能够通过互联网看到基巴纳的报道。我安装了kibana，logstash，nginx和弹性搜索。这是我的/etc/logstash/conf.d/10-syslog.conf： file {
path => [ "/var/log/*.log", "/var/log/messages", &quo
浏览 0提问于2016-06-05得票数 5
6回答
在Kibana 4中同时查询两个索引？
elasticsearch、kibana、kibana-4
每当我创建一个可视化，Kibana 4要求我选择索引进行搜索。我的项目需要搜索多个索引中存在的数据，因此我被卡住了。我希望为我的数据搜索两个索引，然后将它们可视化。任何帮助都是有价值的。
浏览 1提问于2015-04-16得票数 12
回答已采纳
1回答
Logstash不读取MySQL中的新条目
mysql、jdbc、elasticsearch、logstash、logstash-configuration
我在我的Windows 7机器上安装了Logstash和Elasticsearch。我在Logstash安装了。我在MySql数据库中有数据，我使用Logstash将这些数据发送给Elasticsearch，这样我就可以生成一些报告。
用于此操作的Logstash配置文件。当我检查Elasticsearch时，数据在那里，如果我再次运行该命令，数据将被重新索引(复
浏览 1提问于2015-11-06得票数 4
回答已采纳
1回答
是否可以为Elasticsearch维护从FileBeat到LogStash的索引名？
elasticsearch、logging、logstash、elastic-stack、filebeat
我对ELK非常陌生，我已经设置了一个ELK堆栈，FileBeat将日志发送到LogStash进行一些处理，然后输出到Elasticsearch。我想知道是否有可能维护filebeat.yml中设置的索引名，直到Elasticsearch。我之所以要这样做，是因为我需要为生成日志的不同类型的应用服务器建立多个索引。如果我省略了logstash.conf中的索引，那么它是默认的
浏览 1提问于2020-04-01得票数 3
回答已采纳
1回答
是否可以为一个文件节拍配置多个输出？
elasticsearch、logstash、filebeat
在我们的一个应用程序中，我们使用logstash解析应用程序日志，并将它们索引到elasticsearch中。我们的简单架构是日志文件-->文件-->日志存储
由于我们启用了多个日志文件示例(apachelogs、人工日志、应用程序日志等)，因此logstash无法解析数据量，因此在elasticsearch中缺少日志是否有任何方法在logstash中处理大量的
浏览 1提问于2017-11-29得票数 2
2回答
ElasticSearch -获取新记录
elasticsearch、logstash
我有一个使用Elasticsearch插件作为输入的Logstash实例。此输入插件的时间表为* * * * *。当它运行时，我希望获得自上次调度程序运行以来输入到Elasticsearch实例中的记录。似乎我需要一种方法来告诉插件在logstash启动时给我开始的文档。然后，从那里开始。但是，此时，我在查询中使用了"@timestamp“字段，它获取自Elasticsearch<
浏览 10提问于2018-11-27得票数 0
2回答
为什么在基班纳没有逻辑存储索引？
indexing、logstash、elastic-stack、filebeat
Kibana已经启动并运行，但当我将索引模式配置为logstash-*时，没有看到任何logstash索引。
Unable to fetch mapping.当我做卷曲来查看我所拥有的索引时，它们仅仅是文件类型的索引。Filebeat应该将数据推送到logstash，后者正在监听5044。我检查了我的端口是打开的，我的配置文件是正确的，根据教程。有什么不对的？Fi
浏览 4提问于2017-01-18得票数 1
回答已采纳
1回答
在elasticsearch中使用基于日志级别的logstash将日志分离和推入不同的索引
logging、elasticsearch、architecture、logstash
我刚开始使用ELK堆栈，目前我想根据日志级别在不同的elasticsearch索引中推送日志。例如，假设logstash- error _logs索引只包含错误日志(日志级别为ERROR)，logstash-ok_log索引将包含所有信息日志()日志，日志级别为INFO )等等。=> { "message" => "%{SYSLOG5424SD} %{JAVACLASS:LOGLEVEL}&q
浏览 1提问于2016-01-06得票数 1
1回答
如何在kibana中读取输入文件？
elasticsearch、import、kibana
我必须在kibana的一个vtt文件上做一些操作。但是我不能用kibana读它。请给我一些阅读的建议。
浏览 35提问于2020-01-27得票数 0
回答已采纳
3回答
在Java程序中运行Logstash
java、elasticsearch、logstash
我已经在ElasticSearch中创建了索引和字段。我可以使用以下命令成功地运行Logstash配置文件，将MySQL数据库表中的数据添加到ElasticSearch中：我需要从我的Java源代码运行这个命令。如何从Java代码运行此logstash配置文件？
浏览 3提问于2016-02-19得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
