具有大量mysql结果集的logstash

文章/答案/技术大牛

发布

1回答

mysql、elasticsearch、logstash-jdbc

我正在处理从MySQL到elasticsearch的复制数据，所以我使用logstash进行复制，但问题是在mysql中有一个product表，它有许多关系和select查询包含46个左外部连接，因此返回的结果非常巨大对于表product的单个记录，它返回了大约50000 (50k)行，这使得复制性能变得很慢，所以我需要问一下是否有其他的复制解决方案，以及如何解决巨大结果的性能问题产品及其关系的示

浏览 8提问于2019-06-13得票数 0

0回答

使用弹性搜索对mysql记录进行索引

java、elasticsearch、logstash

我正在尝试从mysql数据库中获取结果集，然后转换为json，然后使用elastic search api进行索引。我做了谷歌，并发现使用logstash我可以直接索引数据到弹性搜索，搜索了很多，但我找不到任何示例代码如何通过java代码做到这一点。我不确定哪种方法是最好的(使用logstash进行索引，还是将结果集转换为json，然后通过elasticsearch进行索引)。任何示例代码/链接都将非常有用。

浏览 5提问于2016-12-28得票数 0

回答已采纳

2回答

使用logstash将数据从mysql导入到elasticsearch

mysql、elasticsearch、logstash、logstash-jdbc

我想用logstash将数据从我的MySQL数据库导入到elasticsearch。我已经能够导入自定义查询结果，但是我错过了可以定义logstash创建的索引的映射/设置的地方。此外，我不知道如何导入具有一对多关系的数据。这是到目前为止我的logstash.conf：jdbc { jdbc_connection_string => &qu

浏览 2提问于2017-08-03得票数 2

1回答

码头拼装错误

linux、ubuntu、docker

如果我使用命令构建，我将得到如下所示的错误： environment: MYSQL_DATABASE: symfony - ./elk/<em

浏览 3提问于2015-12-24得票数 11

回答已采纳

2回答

在容器内运行RSyslog /Syslog ng日志收集器

docker、logging、syslog、rsyslog、syslog-ng

假设我们有一个Kubernetes集群(在生产中)，它可以登录到Logstash。设计是添加，它将收集日志并将其向前发送。，但我希望将日志收集器与Splunk转发器分离，并在侧容器中运行一个更轻的日志收集器，如或，该容器将与Splunk转发器(或将来可能取代它的任何其他转发器)共享卷。在寻找解决方案时，我发现了一些似乎还没有准备好生产的项目(如下所示)。对我来说，日志收集器的解耦似乎是一种琐碎<

浏览 0提问于2019-08-04得票数 0

1回答

ElasticSearch，Logstash，MySQL:如何加快大规模导入？

mysql、elasticsearch、logstash、full-text-indexing

我正在尝试将一个大型(大约30m行) MySQL数据库导入到ElasticSearch。酷酷，有一个logstash工具，看起来它是为这类东西而构建的；它的JDBC插件可以让我直接连接到数据库，并快速地删除行。不过！当我尝试它的时候，它会和java.lang.OutOfMemoryError一起爆炸。好吧。它可能是想分批处理太多的行或什么的。所以我将jdbc_fetch_size => 1000添加到我的配置中。它开始在我的索

浏览 4提问于2017-06-28得票数 1

回答已采纳

1回答

JDBC输入logstash插件多次从mysql获取数据

elasticsearch、logstash

Logstash jdbc输入插件多次从mysql获取数据，并在elasticsearch中创建文档我已经创建了多个配置文件来从mysql中的每个表中获取数据，并将其放入/etc/ logstash /conf.d文件夹中作为sudo systemctl Start logstash运行以下命令来执行文件/usr/

浏览 2提问于2019-07-04得票数 0

1回答

向ElasticSearch推送多个MySQL数据库

mysql、elasticsearch、logstash、logstash-jdbc

我有一个单租户B2C架构(这是一个B2B电子商务应用程序)，并且我正在尝试创建一个新的SAAS客户应用程序。作为消费者，我希望在所有客户端数据库中搜索产品(具有可用库存)，并将订单发送给根据搜索结果选择的特定B2B客户端。我已经为产品聚合选择了ElasticSearch，并且我计划通过连接所有MySQL客户端数据库来使用LogStash推送数据。我的问题是，是否可以使用LogStash管理多个(数千个) MySQL连接？我将使用JDB

浏览 5提问于2020-06-11得票数 0

1回答

Erlang disk_log :如何输出与logstash接口的原始文本/JSON？

elasticsearch、erlang、logstash

我有： elasticsearch与logstash一起用于实时搜索日志。我的问题是，disk_log的输出是Erlang的内部格式。如何与logstash接口？我是否可以在另一个Erlang /process中解析disk_log输出文件(毕竟，它是一个日志，只要Erlang正在运行，它就会

浏览 7提问于2015-02-23得票数 3

回答已采纳

1回答

将MYSQL与logstash连接时出错

mysql、elasticsearch、amazon-elastic-beanstalk、logstash、logstash-configuration

我已经将MYSQL db配置为logstash中的输入。Pipeline_id:main Error: Permissio

浏览 2提问于2020-11-11得票数 1

回答已采纳

4回答

如何用NLog或SeriLog登录到弹性搜索

asp.net、elasticsearch、logstash、nlog、serilog

我们目前使用的是天蓝色比例集(在一个具有负载平衡和一个可用性集的源组上的许多vm )，我们过去使用NLog来记录web应用程序的操作和错误，但是现在我们要求/需要使用弹性搜索，并且对每个实例使用集中日志，而不是每个实例的文件。我是ES和LogStash概念的新手，我需要用其他东西取代NLog吗？以及如何使用ES并将所有日志统一在一起(我认为将nlog存储在蔚蓝存储表中作为统一结果，还是需要

浏览 0提问于2018-04-01得票数 11

回答已采纳

1回答

日志存储，没有加载在弹力搜索中的记录的确切数量和每一个命中的结果都在不断变化。

elasticsearch、logstash、logstash-jdbc

问题陈述: Logstash没有正确地将数据库中的所有记录加载到elasticsearch，而且每次我访问相同的api都会得到不同的结果(尽管有时是正确的，但每次命中都会发生更改，并且在salutations嵌套字段中只显示了记录的子集)。logstash机制看起来是零星的，加载结果不一致，特别是在一对多的场景中。-我在从两个表加载记录时观察到logstashlogstash7.8.0的</

浏览 3提问于2021-01-15得票数 0

回答已采纳

1回答

使用Logstash与MySQL和弹性搜索，无法发送数据

elasticsearch、logstash

我试图使用logstash从MySQL服务器向ES发送数据。我正在使用ES 6.3.0和Logstash 6.3.0。/mysql-connector-java-5.1.46-bin.jar" jdbc_connection_string=> "jdbc:mysql://..."

浏览 1提问于2018-07-03得票数 1

回答已采纳

4回答

使用elasticsearch对Mysql数据库进行索引

search、elasticsearch

我最近开始寻找ElasticSearch来在我的应用程序中实现搜索。我有我的数据库在Mysql中有大约。>2MN条记录。我知道在sphinx中，我们可以直接在任何mysql表列上创建索引。

浏览 2提问于2011-12-23得票数 10

1回答

如何找到生成的文件日志存储库？

logstash、logstash-grok、logstash-configuration、elastic-stack、logstash-file

我是ELK堆栈的初学者，所以我配置了logstash，当我想使用ElasticSearch搜索时，我没有结果，所以我应该得到一个结果，因为我在grokdebug上做了我的解析，而且它运行得很好。我的研究如下：我想知道是否可以看到生成的日志存储文件，以及它是否生成了结果？问题就在逻辑仓库里。谢谢

浏览 1提问于2016-03-14得票数 0

回答已采纳

1回答

用json列从mysql导入数据到弹性搜索

python、mysql、json、elasticsearch、logstash

我在MySQL中有一个列，其中一个列有json，我必须用多个键实现对这个列的搜索。我尝试使用日志存储创建一个使用Mysql的索引。 jdbc { #

浏览 2提问于2018-06-12得票数 0

回答已采纳

1回答

为什么无状态会话的.scroll会导致OutOfMemoryException？

java、hibernate、out-of-memory

我希望减少hibernate会话的开销(以提高性能，因为会话需要太多时间来处理其存储的对象)，并尝试使用无状态会话：.scroll(.)给出 at com.mysql.jdbc.Buffer<init>(Buffer.java:

浏览 4提问于2013-08-11得票数 0

回答已采纳

1回答

Logstash sql_last_value未更新

mysql、elasticsearch、logstash、kibana

我希望使用logstash配置将一个mysql表中的记录迁移到elasticsearch。Logstash配置： input { jdbc_driver_library => "e:\Data\logstash\bin\mysql-connector-javalogstash调试结果： [2019-12-30T11:38:46,004][INFO ][logstash.inputs.jd

浏览 200提问于2019-12-31得票数 1

1回答

无法停止Logstash

java、elasticsearch、logstash、kibana、netflow

我正在使用带有Netflow模块的ELK堆栈。首先，当我检查CPU使用情况时，Logstash正在使用大量资源，我决定停止它。这一刻Elasticsearch/Kibana/Logstash被停止了。我是说，我运行了sudo service elasticsearch/kibana/logstash stop命令。基本上，我认为logstash有问题。当我在htop中看到日志时，我得到了这样的东西，我不明白为什么。 ? 当

浏览 123提问于2021-05-10得票数 0

回答已采纳

1回答

在mysql中使用OracleTypes.CURSOR函数时将oracle的“registerOutParameter”替换为等效的

java、mysql、sql、oracle

亲爱的堆栈溢出社区我正在尝试升级一个用JAVA开发的系统，从使用oracle DB升级到mysql DB。我谈到了如何使用存储过程，java代码使用了特定的oracle结构-- OracleTypes.CURSOR。请看下面的代码。OracleTypes.CURSOR的使用转化为mysql友好的东西。我确实读到，在新版本的mysql中这样做是可以的，所以我甚至尝试用OracleTypes.CURSOR代替java.

浏览 4提问于2013-10-06得票数 2

回答已采纳

点击加载更多