分布式系统日志收集 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

将下载的日志文件重放到ELK服务器中

logging、log4j、elastic-stack

我们部署的系统收集“常规的”普通老式log4j日志文件。由于它是分布式系统，因此有5-10个这样的系统。当出现问题时，可以获取zip文件形式的日志文件。我发现了，它工作得很好。但是，这对我来说是新的，并且所有的示例都讨论了如何使用诸如filebeat之类的东西向ElasticSearch播放日志信息。我想知道是否有一种方法可以将现有的一组日志文件“重放”到这样的ELK容器实例中？或者这是我需要构建的东西？

浏览 1提问于2017-09-28得票数 1

1回答

任何日志搜索系统都可以帮助在集中式节点中建立本地索引和grep日志？

elastic-stack

我阅读了ELK文档和其他日志grep系统，似乎它们都需要：我认为那些像ELK这样的系统成本太高，bandwidth.Any实现就像带索引的分布式日志文件分布在许多服务器中。日志系统也在每台服务器上实现。集中式服务器向各服务器请求获取应用于日志数据的grep结果，通过建立索引，可以快速完成该任务，并将结果收集到集中式服务器。

浏览 0提问于2017-06-08得票数 0

2回答

仅将信息级日志发送到zipkin

spring-boot、spring-cloud-sleuth、zipkin

所以它还包括- INFO级别日志和错误级别日志，目前它是有用的，但我们已经有了单独的错误级别日志机制。因此，我只想跳过错误级别日志的zipkin日志，只将信息级别日志发送到zipkin 我试过搜索，但找不到任何帮助，我是微服务的新手感谢您的帮助，谢谢！

浏览 33提问于2019-02-06得票数 0

4回答

跟踪和日志记录有什么区别？

java、.net、windows、logging、trace

从术语的角度来看，一般来说，tracing和logging有什么区别？

浏览 6提问于2014-12-02得票数 55

4回答

哪个更适合于日志分析

hadoop、mapreduce、apache-spark、apache-storm、flume

我必须分析Gzip压缩日志文件，这些文件使用、Hadoop相关工具存储在生产服务器上。

浏览 4提问于2015-11-24得票数 3

回答已采纳

1回答

火花:从工人那里写信给主人的日志

scala、apache-spark

df.rdd.foreachPartition( i => { //writing to log问题是，writing to log是在工作人员本身上执行的，而不是在主程序上执行的，因此日志条目分散在某个地方是否有一种方式从工人或其他工作写到主人的日志？

浏览 3提问于2016-11-21得票数 1

回答已采纳

3回答

的分布式数据库的事件记录

node.js、mongodb、logging、frameworks、nosql

我正在寻找node.js的系统或库，可以在每个远程服务器上记录有关客户端访问的信息，并自动收集中央日志服务器上的信息以供以后分析。远程服务器将拥有只读权限，而中心服务器将积累大量数据以供读取。我希望有像MongoDB这样使用分布式NoSQL数据库的解决方案。然而，我还没有找到如何设置它。例如，我希望清理旧数据可以在中央日志服务器上启动(当数据被处理时)，并且可以在远程服务器上删除旧日期的条目，而开销很小。目前我们有登录文件和Hadoop系统进行日志分析。

浏览 0提问于2012-12-05得票数 2

2回答

XFS是分布式文件系统还是日志文件系统？

filesystem

XFS是分布式文件系统还是日志文件系统？哪一个是真的？

浏览 0提问于2014-11-28得票数 5

回答已采纳

1回答

docker下的.Net应用程序:将日志写入与主机系统共享的文件时出现显著延迟

docker、yaml、nlog

我们有.net应用程序，在日志记录器的帮助下将日志写入文件源，日志每时每刻都会被记录下来。如果你在Windows上运行它，没有dockers，一切都很好:日志记录立即出现在文件中，但在我们的Linux dockers集群下部署，需要几分钟到几个小时才能将数据闪存到文件中，该文件与我们的主机系统共享我可以在数据库中看到数据，表明应用程序运行成功，但日志文件有一段时间没有更改。几乎没有使用dockers的经验，不确定它可能是由什么引起的，甚至不知道应该在哪里查看。

浏览 15提问于2020-05-09得票数 2

回答已采纳

1回答

是否有任何可视化工具可以查看storm集群中的处理链(螺栓和喷嘴)？

apache-storm

增加了日志级别，但无法弄清楚到底发生了什么。任何帮助都将不胜感激。

浏览 0提问于2013-06-03得票数 0

回答已采纳

3回答

分布式日志系统

system、distributed、logging

我需要在分布式文件系统中存储日志。谢谢!

浏览 0提问于2010-09-09得票数 0

1回答

带有snmp协议的集中式日志文件

java、snmp、logfile、snmp4j

我想知道SNMP协议是否可以帮助我将java应用程序开发成本地网络的集中式日志文件。我不想监视网络设备，我只想集中日志文件和分析主题。

浏览 2提问于2014-05-31得票数 1

回答已采纳

1回答

如何记录跨机器场的分布式python进程

python、logging

我如何将分布式系统的日志与python统一，因为我不知道远程机器上发生了什么。我一直在研究python内置的日志记录，但是它似乎没有一个很好的文档来记录分布式系统。

浏览 1提问于2013-11-05得票数 1

回答已采纳

1回答

我们有没有可能在Apache Flink中创建一个所有操作符都可以访问的对象？

apache-flink、flink-streaming、stream-processing

我正在构建一个帮助监控多个运算符的数值性能的类。我目前的想法是创建一个像update()这样的方法，并在每次需要操作符更新某些内容时调用此方法。然而，这意味着我需要创建一个对我希望监视的每个操作员都可见的对象。这有可能吗？或者会有更好的解决方案吗？谢谢!

浏览 24提问于2020-09-23得票数 0

1回答

Paxos家族与数据一致性的关系

consensus、raft、distributed-database、paxos、data-consistency

Paxos算法是一种一致性算法，在分布式数据库系统中起着至关重要的作用。它可以用来使分布式系统选择相同的方案。数据一致性是数据库系统中的一个大问题。其他人认为在许多分布式系统中使用Paxos或raft来确保数据的一致性。我不同意他们的看法。我们能把P

浏览 7提问于2022-11-27得票数 1

回答已采纳

1回答

log4j:如何使用SocketAppender？

java、log4j、appender

我有一个关于如何使用SocketAppender的 (我需要它来从分布式系统中收集日志)，但我是log4j的新手，我不知道如何使用该示例代码。但是我仍然不知道如何启动服务器(如何使用这行代码)最重要的是:在哪里\如何查看我的日志

浏览 129提问于2012-08-01得票数 20

回答已采纳

1回答

如何分析分布式系统中的日志？

logging、distributed、distributed-system

当分布式系统(如raft节点)发生意外行为时，请求或数据流的逻辑趋势通常只能由日志来分析。然而，由于分布式系统，这是困难的。我发现像这样的工具可以可视化通过日志的请求或数据流，但需要修改源代码。

浏览 6提问于2022-06-11得票数 0

回答已采纳

1回答

用SimPy模拟Chord分布式系统

modeling、distributed-system、simpy、chord

我正在做一些关于几个分布式系统的研究，比如Chord，我希望能够用我的桌面编写算法并运行分布式系统的模拟。在模拟中，我需要能够让每个节点独立执行并相互通信，同时手动诱导延迟、丢包、随机崩溃等元素，然后收集数据来估计系统的性能。经过一番搜索，我发现SimPy是我想要的一个很好的候选者。若有，对实施此系统有何建议/注意事项？

浏览 5提问于2016-12-26得票数 1

1回答

Kibana 3里程碑4与石墨集成

logging、elasticsearch、graphite、statsd、kibana

我很难理解如何集成Graphite和Kibana 3来监视日志和系统生命周期。我指的是中的数字。考虑到Kibana 3里程碑4中的新特性，我们能否收集系统生命周期，并将其直接存储到弹性搜索中，而不是石墨，并使用单一的kibana仪表板(在强调性能和低内存脚印的分布式系统中实现什么才是正确的选择)？

浏览 1提问于2013-11-18得票数 10

回答已采纳

1回答