开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

我应该使用哪个Fluentd插件来监听应用程序日志: in_tcp还是in_forward？

对于监听应用程序日志，可以使用Fluentd插件中的in_tcp或in_forward插件。

in_tcp插件：in_tcp插件是Fluentd的输入插件之一，用于通过TCP协议监听应用程序日志。它可以接收来自应用程序的TCP连接，并将日志数据传输到Fluentd进行处理和转发。in_tcp插件适用于需要通过TCP协议传输日志数据的场景。

推荐的腾讯云相关产品：腾讯云日志服务（CLS）

产品介绍链接地址：https://cloud.tencent.com/product/cls

in_forward插件：in_forward插件也是Fluentd的输入插件之一，用于通过Fluentd的forward协议监听应用程序日志。它可以接收来自其他Fluentd实例的转发数据，并将其传输到Fluentd进行处理和转发。in_forward插件适用于需要在Fluentd之间进行日志转发的场景。

推荐的腾讯云相关产品：腾讯云日志服务（CLS）

产品介绍链接地址：https://cloud.tencent.com/product/cls

根据具体需求和场景，可以选择使用in_tcp或in_forward插件来监听应用程序日志。

相关搜索:在Watson Discovery API中，我应该使用哪个结果来确定最相关的文档:得分还是置信度？网站空间双线空间是什么意思如何用文件传输协议登陆网站防止网站独立ip被别人绑定换了dns 不能上韩国网站网站空间为什么都比数据库大仿照一个国外的网站要多少钱打开网站为什么要用户名密码 win2003VPS装网站 Cc攻击以后网站有时打不开

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

Fluentd输入插件：in_forward用法详解

in_forward插件通常用于从其他节点接收日志事件，这些节点包括其他Fluentd实例、fluent-cat命令行或者Fluentd客户端程序。这是目前效率最高的日志事件接收方法。

01

Fluentd 命令行工具 fluent-cat 介绍

fluent-cat 是 Fluentd 提供的一个命令行工具，特别适合于对插件功能的验证性测试。

01

通过测试 grep 插件，一起了解验证插件功能的方法

“ 本文是 filter_grep 过滤插件的使用示例，同时也演示了测试插件功能的一般性方法。”

01

fluentd 的使用

td-agent 是基于 fluentd 核心功能开发，td-agent 优先考虑稳定性而不是新功能。1️⃣

01

Fluentd输出插件：rewrite_tag_filter用法详解

我们在做日志处理时，往往会从多个源服务器收集日志，然后在一个（或一组）中心服务器做日志聚合分析。源服务器上的日志可能属于同一应用类型，也可能属于不同应用类型。

02

Docker实践(七): EFK Stack搭建日志管理系统

Logstash: 是一个灵活的数据传输和处理系统，Logstash的任务读取原始日志，并对其进行分析和过滤，然后将其转发给其他组件（比如 Elasticsearch）进行索引或存储。在beats出来之前，还负责进行数据收集。logstash基于JRuby实现，可以跨平台运行在JVM上。模块化设计，有很强的扩展性和互操作性，不过性能一直是被诟病的问题。

04

Fluentd v1.8.0已经发布

我们已经发布了v1.8.0。更新日志在这里。这个版本包含了新的服务发现插件和许多增强功能。

02

如何在Ubuntu上收集Docker日志

当您将Docker容器转移到生产环境中时，您会发现经常需要将日志保留在容器外的地方。Docker提供了一个本机日志驱动程序，可以很容易地收集这些日志并将它们发送到其他地方，例如Elasticsearch和Fluentd。Elasticsearch是是目前全文搜索引擎的首选。它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它。这样您就可以分析数据了。Fluentd是一个开源数据收集器，旨在统一您的日志记录基础架构。它将操作工程师，应用工程师和数据工程师结合在一起，使其简单且可扩展，以收集和存储日志。

03

Docker 双栈日志

本文来聊聊 Docker 双栈日志，看看这个方案解决了我们实际应用中的哪些痛点，以及如何落地使用。

02

Kubernetes集群监控-使用ELK实现日志监控和分析

日志对于调试问题和监视集群情况也是非常有用的。而且大部分的应用都会有日志记录，对于传统的应用大部分都会写入到本地的日志文件之中。对于容器化应用程序来说则更简单，只需要将日志信息写入到 stdout 和 stderr 即可，容器默认情况下就会把这些日志输出到宿主机上的一个 JSON 文件之中，同样也可以通过 docker logs 或者 kubectl logs 来查看到对应的日志信息。

03

Fluentd输出插件：out_forward用法详解

out_forward是一个带缓存的输出插件，用于向其他节点转发日志事件，并支持转发节点之间的负载均衡和自动故障切换。

01

七, 跨语言微服务框架 - Istio日志采集EFK

ELK日志系统大家不会陌生(zipkin + jaeger , prometheus + grafana)解决了大家对于链路对于统计采集的需求,但是真正的对于日志进行存储还是得专业的上,在Istio中官方提供的方案是EFK(Fluentd + Elasticsearch + Kibana)Fluentd 是一个开源的日志收集器，支持多种数据输出并且有一个可插拔架构。 Elasticsearch是一个流行的后端日志记录程序， Kibana 用于查看。

01

号称下一代日志收集系统！来看看它有多强

关于日志收集、处理、分析的方案，其实是很多，常见的就是ELK组合，即：Elasticsearch + Logstash + Kibana，官方网站：https://www.elastic.co/products

02

Fluentd｜统一的日志记录层

https://epsagon.com/blog/cncf-tools-overview-fluentd-unified-logging-layer/

01

如何在Ubuntu 14.04上使用Fluentd和ElasticSearch集中Docker日志

Fluentd是一个开源数据收集器，旨在统一日志记录基础架构。它旨在通过简化和扩展日志来收集和存储日志，从而将运营工程师，应用工程师和数据工程师聚集在一起。

00

Kubernetes-基于EFK进行统一的日志管理

通过应用和系统日志可以了解Kubernetes集群内所发生的事情，对于调试问题和监视集群活动来说日志非常有用。对于大部分的应用来说，都会具有某种日志机制。因此，大多数容器引擎同样被设计成支持某种日志机制。对于容器化应用程序来说，最简单和最易接受的日志记录方法是将日志内容写入到标准输出和标准错误流。但是，容器引擎或运行时提供的本地功能通常不足以支撑完整的日志记录解决方案。例如，如果一个容器崩溃、一个Pod被驱逐、或者一个Node死亡，应用相关者可能仍然需要访问应用程序的日志。因此，日志应该具有独立于Node、Pod或者容器的单独存储和生命周期，这个概念被称为群集级日志记录。群集级日志记录需要一个独立的后端来存储、分析和查询日志。Kubernetes本身并没有为日志数据提供原生的存储解决方案，但可以将许多现有的日志记录解决方案集成到Kubernetes集群中。在Kubernetes中，有三个层次的日志：

04

集装箱时代的分布式记录（第3部分）

09

面对海量日志，为什么选用fluentd作为核心组件？

"本文主要讲解了fluentd的为什么选用fluentd作为核心组件，它的优势是什么"

04

Docker通过EFK（Elasticsearch + Fluentd + Kibana）查询日志

这篇文章主要是参考Docker Logging via EFK (Elasticsearch + Fluentd + Kibana) Stack with Docker Compose，并在其基础上做了一些修改。

03

《istio实战指南》第7章可视化工具

第7章可视化工具分布式追踪分布式追踪（Distributed Tracing）主要用于记录整个请求链的信息。在微服务应用中，一个完整的业务往往需要调用多个服务才能完成，服务之间就产生了交互。当出现故障时，如何找到问题的根源非常重要。追踪系统可以地展示出请求的整个调用链以及每一步的耗时，方便查找问题所在本节主要介绍如何使用Jaeger在Istio中实现追踪启动Jaeger Jaeger是一个开源的分布式追踪系统，它可以在复杂的分布式系统中进行监控和故障排查。Jaeger的主要功能包括分布式请求监控

02

Docker通过EFK（Elasticsearch + Fluentd + Kibana）查询日志

Elasticsearch是一个开源搜索引擎，以易用性着称。kibana是一个图形界面，可以在上面条件检索存储在ElasticSearch里数据，相当于提供了ES的可视化操作管理器。

04

为什么我们需要Logstash,Fluentd等日志摄取器？

疑问：既然应用能直接向ElasticSearch写日志，为什么我们还需要Logstash,Fluentd等日志摄取器？而且这些日志摄取器组件还成为日志收集的事实标准？

01

TKE搭建EFK日志服务

Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana（EFK）技术栈，也是官方现在比较推荐的一种方案。

03

Kubernetes 集群日志监控 EFK 安装

Kubernetes 集群中会编排非常多的服务，各个服务不可能保证服务一定能稳定的运行，于是每个服务都会打印出各自的日志信息方便调试。由于服务的众多，每个服务挨个查看日志显然是一件非常复杂的事情，故而日志的统一收集、整理显得尤为重要。

02

使用 EFKLK 搭建 Kubernetes 日志收集工具栈

前面大家介绍了 Kubernetes 集群中的几种日志收集方案，Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana（EFK）技术栈，也是官方现在比较推荐的一种方案。

03

在 Kubernetes 上搭建 EFK 日志收集系统

上节课和大家介绍了 Kubernetes 集群中的几种日志收集方案，Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana（EFK）技术栈，也是官方现在比较推荐的一种方案。

01

在 Kubernetes 上搭建 EFK 日志收集系统

Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。

03

一文彻底搞定 EFK 日志收集系统

前面大家介绍了 Kubernetes 集群中的几种日志收集方案，Kubernetes 中比较流行的日志收集解决方案是 Elasticsearch、Fluentd 和 Kibana（EFK）技术栈，也是官方现在比较推荐的一种方案。

02

Fluentd输入插件：in_http用法详解

in_http插件允许使用HTTP协议来采集日志事件。这个插件会建立一个支持REST风格的HTTP端点，来接收日志事件请求。

03

EFK日志平台部署

日志收集方案是采用 Elasticsearch、Fluentd、Filebeat 和 Kibana（EFK）技术栈。 Fluented主要用来收集k8s组件和docker容器日志，Filebeat主要用来收集应用日志，主要因为目前项目中应用日志并未全部通过stdout方式输出到docker日志驱动中，导致flunted收集日志并不全面，需要通过Filebeat来将应用日志收集到es中，再由kibana来展示。

02

Kubernetes集群环境下fluentd日志收集方案介绍

前段时间写了一篇日志收集方案，Kubernetes日志收集解决方案有部分读者反馈说，都是中小企业，哪有那么多资源上ELK或者EFK，大数据这一套平台比我自身服务本身耗费资源还要多，再说了，现阶段我的业务不需要格式转换，不需要数据分析，我的日志顶多就是当线上出现问题时，把我的多个节点日志收集起来排查错误。但是在Kubernetes平台上，pod可能被调度到不可预知的机器上，如果把日志存储在当前计算节点上，难免会出现排查问题效率低下，当然我们也可以选用一些共享文件服务器，比如GFS、NFS直接把日志输出到特定日志服务器，这种情况对于单副本服务没有任何问题，但是对于多副本服务，可能会出现日志数据散乱分布问题（因为多个pod中日志输出路径和名称都是一样的），下面我介绍通过CNCF社区推荐的fluentd进行日志收集。

02

轻量级日志收集转发 | fluent-bit配置详解（二）

"本文主要对fluent-bit 1.3版本配置做详细介绍，关注后回复【pdf】获得文档"

02

生产环境下的 Node.js 日志记录方案[每日前端夜话0xFD]

设置正确的日志记录基础结构可帮助我们查找发生的问题、调试和监视应用程序。从最基本的角度来看，我们应该从基础架构中得到以下内容：

03

在 Grafana Loki 中用 Logging operator 来访问 Kubernetes pod 日志

通过前一节 Logging operator 基本了解，本节实战部署日志系统来收集容器应用日志！

Fluentd性能优化实践

抛开自己配置错误的一些原因，Fluentd性能问题的最主要原因是因为Fluentd是使用Ruby写的，而Ruby有全局锁(GIL)，因而在一个Ruby进程里面同时最多只有一个线程在运行。这样的话，Ruby的多线程对需要更多计算资源的操作显得无能为力，具体的体现可以用top查看进程的运行情况，如果Fluentd到达性能瓶颈的话，Fluentd的进程会一直占用100%左右的计算资源，再也不能提升，对于有四个核的计算机来说，最多也就使用的1/4的计算能力，这是极其浪费的。而且当Fluentd进程到达瓶颈后，数据会处理不完，导致数据收集的速度落后于数据产生的速度。

01

5个Docker 1.8的Fluentd Logging Driver用例

这篇文章来自 Kiyoto Tamura。

容器云环境，你们如何监控应用运行情况？ --JFrog 云原生应用监控实践

引言自从2018年从Cloud Native Computing Foundation（CNCF）出现以来，您可能已经在使用K8操作系统，随着容器云技术的发展以及落地，提高了企业运维的效率和质量，并且降低了企业运营成本，但同时带来的问题是运维的复杂度和难度，举个例子🌰：由于容器的生命周期短，随时可能飘移到其他物理资源上运行，因此日志的采集和运行的监控很难像传统方式登录到服务器上查看，而运营团队需要了解有价值的数据来进行问题定位以及运营数据分析。为了更广泛地提供这种可观察性，我们需要提

01

在 Windows 系统上安装和使用 Fluentd

我们在最初的文章中介绍了在 Linux 上安装 Fluentd 的方法，有时候为了做些简单测试，并不需要在服务器上运行 Fluentd。在自己电脑上装一个Fluentd 就可以实现。

02

恭喜 fluentd 从 CNCF 毕业

CNCF（云原生计算基金会）在美国时间 2019 年 4 月 11 日宣布 fluentd 今天正式毕业了。

02

Kubernetes 集群日志和 EFK 架构日志方案

https://devopscube.com/kubernetes-logging-tutorial/

03

综合使用tail、forward、copy和stdout

我们已经介绍了几个Fluentd的输入插件和输出插件，现在先通过一个例子进行阶段总结。

02

日志从Kafka到Loki的N种方式

最近群里有小伙伴有说到自己的日志存储路径先是从客户端到Kafka，再通过消费kafka到ElasticSearch。现在要将ES换成Loki面临需要同时支持Kafka和Loki插件的工具。小白查了下当前市面上满足需求且足够可靠的工具分别为Fluentd、Logstash以及Vector。

04

Logstash、Fluentd、Fluent Bit 还是 Vector？如何选择合适的开源日志收集器

企业无论是已经使用了开源日志收集工具，还是准备选择一款或多款工具，都有必要了解日志收集工具的关键要求。这些要求包括：高数据吞吐量、可靠性、可扩展性、灵活性、安全性以及资源（CPU和内存）消耗等。本文讨论了市面上流行的几款日志收集工具（包括 Logstash、Fluentd、Fluent Bit 和 Vector）及其主要特点。

01

再见 Logstash，是时候拥抱下一代开源日志收集系统 Fluentd 了

fluentd 是一个实时的数据收集系统，不仅可以收集日志，还可以收集定期执行的命令输出和 HTTP 请求内容。数据被收集后按照用户配置的解析规则，形成一系列 event。每一个 event 包含如下内容：

07

Kubernetes集群的日志收集、聚合和管理

ELK（Elasticsearch、Logstash、Kibana）是一个流行的日志管理解决方案，可以在Kubernetes中进行日志管理。下面是在Kubernetes中使用ELK组件进行日志管理的步骤：

05

一套标准的ASP.NET Core容器化应用日志收集分析方案

关注我公众号的朋友，应该知道我写了一些云原生应用日志收集和分析相关的文章，其中内容大多聚焦某个具体的组件：

01

Tungsten Fabric入门宝典丨主流监控系统工具的集成

（编者按：Prometheus 是一个开源监控系统，几乎所有云原生系统都以 Prometheus的指标格式输出运行时的监控信息。）

02

SlideShare案例研究：使用Fluentd呈现统一数据

SlideShare于2006年10月成立，旨在促进在线知识共享，已发展成为世界上最大的共享演示文稿和其他内容的社区。在2013年第四季度，SlideShare平均每月有6000万独立访问者和2.15亿页面浏览量，用户查看演示文稿、信息图表、文档、视频和PDF。

02

TKE中部署EFK日志收集

通过DaemonSet在每一台Node节点上跑一个Filebeat或fluentd，然后通过挂载的形式将容器日志与该Pod关联，从而处理发送至后端存储；

00

日志收集工具fluentd安装配置及使用介绍

两台服务器（注：Fluent-bit只支持centos 7以上版本，Fluentd可以支持centos 6版本），host1写日志到本地，然后通过Fluent-bit支持的forward到Fluentd，Fluentd将日志集中写入host2本地存储归档。

03

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭