logstash多流水线判定器

文章/答案/技术大牛

发布

1回答

logstash、logstash-configuration

以下是我的用例，基于运行时的一些业务逻辑，我需要将日志文件生成的事件发布到不同的弹性搜索端点。输入插件(文件名)将是相同的，但输出插件(弹性端点)可能会改变。我不能在每个日志行中提供运行时生成的数据。例如，thread1和thread2都在向app.log生成日志。我想要将日志从thread1推送到弹性endpoint1，将日志从thread2推送到弹性endpoint2。在这种情况下，两者的输入( app.log )是相同的。这是可以实现的吗？

浏览 29提问于2019-03-19得票数 0

2回答

为什么logstash停止处理日志

elasticsearch、logging、logstash

Logstash在几个小时后停止处理日志。当日志停止处理时，logstash服务会消耗大量CPU性能(总共32个内核，大约25个)。当logstash服务正常工作时，总共消耗大约4-5个核心。流水线每分钟产生大约50k个事件。Logstash Conf (非默认值)：pipeline.workers: 15 pipeline.batch.size: 100 JVM CONF：-Xms15g -Xmx15g input {仅查看以下消息： [2019-04-19T00:00:12,004][DEBUG][<

浏览 111提问于2019-04-22得票数 1

1回答

如何处理仍在开发中的“移植”软件

project-management、mobile、contract、porting

幸运的是，客户放弃了最初的最后期限，但现在我们可能不得不重新谈判定价.从来都不是什么有趣的情况。谢谢！)

浏览 0提问于2012-09-20得票数 0

回答已采纳

1回答

在Spacy中创建和加载自定义管道

nlp、pipeline、spacy

我需要在多页文档上运行NLP管道。文本分类器对前N个句子进行操作，并根据文本分类器的输出，需要将新的自定义元素添加到管道中。当然，我也可以使用新元素重新启动管道，但这需要从头开始重新运行所有内容(记号赋予器、定义器等)。是否可以捕获流水线的状态(例如doc对象)，修改流水线，并继续使用新的流水线及其新元素？

浏览 23提问于2019-11-11得票数 0

1回答

日志存储输入阶段是否多线程？

logstash

我正在查看logstash pipeline.workers选项，该选项声明设置要运行的管道工作人员数目。我想知道logstash输入阶段是否也使用了我的机器的所有核心： kafka { topics

浏览 4提问于2017-02-22得票数 1

1回答

使用Logstash可靠性和可用性登录到elasticsearch，处理丢失的日志？

c#、elasticsearch、logstash、serilog、fluentd

我在ELK上关注这篇文章：，在这个体系结构中，serilog日志记录到Logstash，然后logstash推送到弹性搜索，如果弹性搜索不可达，或者如果logstash服务关闭，或者如果网络关闭或系统关闭，但是文件会随着时间的推移而增长，然后我必须注意没有重复的消息，消息也需要删除，最重要的是在读写文件时没有死锁的情况，你能帮我理解一下ELK是否会注意，如果我使用fluend或fluentbit而不是logstash

浏览 1提问于2021-05-02得票数 0

1回答

在一个多周期的MIPS上，所有的I型指令都有相同的循环次数吗？

mips、cpu-architecture

在一个多周期数据路径中，所有I型MIPS指令是否都采用相同的周期数？我知道R型有相同的循环数。

浏览 2提问于2021-06-27得票数 1

回答已采纳

1回答

让Logstash web在单播环境中工作: ClusterBlockException

elasticsearch、logstash

我正尝试在Windows机器上运行Logstash和Elasticsearch。 ElasticSearch服务器被设置为使用单播(无法使多播正常工作)。. -- web -- log c:/logstash/logstash_webui.log --backend elasticsearch:///?logstash/logstash_webui.log --backend elasticsearch:&#x

浏览 1提问于2013-04-09得票数 1

1回答

我们可以在NodeJS中将数据从MongoDB实时同步到Elasticsearch吗？

node.js、mongodb、elasticsearch

我正在分配我的数据库上的负载，并希望从ES检索数据并将数据写入MongoDB。我可以实时同步它们吗？我已经检查了库，但我想实时检查它。

浏览 0提问于2018-10-15得票数 0

3回答

文件不能在一个实例中使用多个输入/输出配置文件吗？

kubernetes、logstash、instance、filebeat、elastic-beats

- type: log paths: hosts: ["logstash-logs1.default.svc.cluster.local:5044"]data: enabled: true

浏览 18提问于2020-12-18得票数 0

回答已采纳

1回答

麋鹿保安。藏到打，打到藏

security、elasticsearch、debian、logstash、filebeat

下一步就是保护文件传输到logstash连接.它根本不适用于包含证书创建工具-thingy在内的x包。来自LogstashLog："[INFO ][org.logstash.beats.BeatsHandler] Exception: Die Verbindung wurde vom Kommunikationspartner

浏览 1提问于2017-10-10得票数 0

1回答

亚马逊网络服务CodeCommit触发器2个不同的项目

amazon-web-services、aws-codebuild、aws-codecommit

我想要构建一个触发器或任何其他方式，以便我在CodeCommit 2中的一个代码库中所做的每一次更改都会触发不同的作业。假设我有代码库A，B，C -每当A发生变化时，我只想构建B，C。

浏览 12提问于2019-07-25得票数 0

回答已采纳

1回答

Logstash -使用拼音代码计算持续时间

ruby、logstash

在多次尝试使用"elapsed“过滤器来计算事件之间的持续时间之后，我尝试使用Ruby代码来实现这一点。我不太明白如何根据标签获取特定事件的时间。05-07 13:20:48.808 12221236 D ShutdownThread:关闭原因为:用户请求05-06 13:20:48.808 12221236 D ShutdownThread:关闭原因为:用户请求 05-06 10:22:28.306 657 657 I boot_progress_

浏览 0提问于2019-09-02得票数 0

1回答

Selenium测试用例会卡在构建代理中。如何解决？

selenium、azure-devops、automated-tests、integration-testing、build-agent

Chrome浏览器、vstest等问题是当我们使用来自Azure流水线的并行多代理时，流水线运行了很长时间而没有抛出问题。有时，当案例运行时，浏览器会卡住。有时，管道日志中不会显示响应状态。

浏览 13提问于2021-01-31得票数 0

1回答

在ALU中使用内存的优点和缺点是什么？

computer-science、cpu-architecture

在算术逻辑单元中，当给出两个32位输入时，则接收64位输出。ALU如何存储和处理数据以产生输出？ALU是否有一些内部存储？如果是，优点和缺点是什么？

浏览 2提问于2016-03-14得票数 1

1回答

rancher上有问题的(日志记录)服务发现

docker、docker-compose、syslog、rancher

我希望将日志从一个rancher服务(例如my_service)发送到另一个运行带有syslog驱动程序的ELK堆栈的rancher服务 elk-custom: build: dockerfile: Dockerfile-elk - 5601:5601 - 5044:5044 - 5152:5152

浏览 1提问于2017-09-27得票数 0

1回答

Logstash不会处理跨越多行的日志。

logstash、logstash-grok、logstash-configuration、elastic-stack

1001</number> </row>第一条消息在筛选器中运行良好Logstash Config文件 file {

浏览 3提问于2015-12-11得票数 2

回答已采纳

1回答

DataTables流水线与FixedColumns

javascript、jquery、datatables、jquery-datatables

我现在有一个使用流水线的DataTable，现在我需要它也使用FixedColumns。我可以在浏览器控制台做这件事，但让它在加载后自动工作，我感到不知所措。600尽管这似乎是重新加载表或其他什么的，因为fnDrawCallback和fnRowCallback在此之后被调用了相当多。编辑:这是我能找到的最接近的例子，然而，它不使用流水线。

浏览 3提问于2014-01-06得票数 3

1回答

训练多类分类器进行二值分类

machine-learning、multiclass-classification

一个人可以这两种方法的性能如何？我认为更多的类别会带来更精确的判别面，但是1级和2级的权重都比非0级低，导致更少的样本被判定为非0级。

浏览 1提问于2017-06-06得票数 2

1回答

Filebeat Redis- logstash :File节拍快，Logstah慢，logstash线程？

amazon-web-services、elasticsearch、redis、logstash、filebeat

我正面临着logstash的延迟问题。文件传输是准确地读取和发送日志。一开始，所有的事情都很好，但是随着日志的增长，filebeat发送日志的速度非常快，但是logstash变得非常慢。我已经检查过了，logstash每隔60秒钟就从s3中提取它们，但似乎也没有索引它们，而且没有错误。我用8个线程配置

浏览 1提问于2017-01-09得票数 0

点击加载更多