详细图解日志收集系统Flume介绍以及安装配置

Flume的概念:flume是分布式的日志收集系统,它将各个服务器中的数据收集起来并送到指定的地方去,比如说送到图中的HDFS,简单来说flume就是收集日志的。

Flume下载下来后解压就可以使用,无需安装。

这里假设有三台服务器,其中两台是应用服务器,我把他们标识为A服务器和B服务器,还有一台就是日志服务器。

将A服务器和B服务器上的Tomcat日志全部收集到日志服务器上来,然后进行各种处理。

示例使用最常用的扇入模式(将多台机器上的日志汇集到一台机器上处理)

1. 将Flume分别解压到三台服务器

2. 写配置文件

扇入流模式(将多台机器上的日志汇集到一台机器上处理)

A服务器[flume-conf.properties]

agent.sources = spoDirSrc agent.channels = memoryChannel agent.sinks = avroSink agent.sources.spoDirSrc.type = spooldir agent.sources.spoDirSrc.spoolDir = /root/logs agent.sources.spoDirSrc.channels = memoryChannel agent.sinks.avroSink.type = avro agent.sinks.avroSink.hostname = 192.168.56.186 agent.sinks.avroSink.port = 44444 agent.sinks.avroSink.channel = memoryChannel agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000 agent.channels.memoryChannel.transactionCapacity = 100

-----------------------------------------

B服务器[flume-conf.properties]

agent.sources = spoDirSrc agent.channels = memoryChannel agent.sinks = avroSink agent.sources.spoDirSrc.type = spooldir agent.sources.spoDirSrc.spoolDir = /root/logs agent.sources.spoDirSrc.channels = memoryChannel agent.sinks.avroSink.type = avro agent.sinks.avroSink.hostname = 192.168.56.186 agent.sinks.avroSink.port = 44444 agent.sinks.avroSink.channel = memoryChannel agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000 agent.channels.memoryChannel.transactionCapacity = 100

-----------------------------------------

日志服务器(192.168.56.186)[flume-conf.properties]

agent.sources = avroSrc agent.channels = memoryChannel agent.sinks = fileRollSink agent.sources.avroSrc.type = avro agent.sources.avroSrc.bind = 0.0.0.0 agent.sources.avroSrc.port = 44444 agent.sources.avroSrc.channels = memoryChannel agent.sinks.fileRollSink.type = file_roll agent.sinks.fileRollSink.sink.directory = /root/logs agent.sinks.fileRollSink.sink.rollInterval = 86400 agent.sinks.fileRollSink.channel = memoryChannel agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000 agent.channels.memoryChannel.transactionCapacity = 100

-----------------------------------------

3. 分别启动Flume

首先启动日志服务器上的Flume,然后再启动A和B上的Flume

> cd /usr/local/flume1.7/bin > ./flume-ng agent --conf ../conf --conf-file ../conf/flume-conf.properties --name agent -Dflume.root.logger=INFO,console &

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CodingBlock

Android查缺补漏(IPC篇)-- 进程间通讯基础知识热身

本文作者:CodingBlock 文章链接:http://www.cnblogs.com/codingblock/p/8479282.html

1043
来自专栏CodingBlock

Android查缺补漏(IPC篇)-- 进程间通讯基础知识热身

本文作者:CodingBlock 文章链接:http://www.cnblogs.com/codingblock/p/8479282.html

884
来自专栏IT进修之路

原 spring boot Druid多

2602
来自专栏CodingBlock

Android查缺补漏(IPC篇)-- 进程间通讯基础知识热身

本文作者:CodingBlock 文章链接:http://www.cnblogs.com/codingblock/p/8479282.html

722
来自专栏Java3y

Druid数据库连接池就是这么简单

前言 本章节主要讲解Druid数据库连接池,为什么要学Druid数据库连接池呢?? 我的知识储备数据库连接池有两种->C3P0,DBCP,可是现在看起来并不够用...

39811
来自专栏JadePeng的技术博客

jenkins X实践系列(2) —— 基于jx的DevOps实践

jx是云原生CICD,devops的一个最佳实践之一,目前在快速的发展成熟中。最近调研了JX,这里为第2篇,使用已经安装好的jx来实践CICD,旨在让大家了解基...

2332
来自专栏JMCui

浅析 SpringMVC 原理和配置.

一、原理       Spring MVC基于模型-视图-控制器(Model-View-Controller,MVC)模式实现,它能够帮你构建像Spring框架...

3689
来自专栏微服务那些事儿

Spring Cloud 系列-事件监听

强推一波:https://segmentfault.com/ls/1650000011386794

1984
来自专栏云原生架构实践

Jhipster技术栈定制 - 基于UAA的微服务之间安全调用

3个微服务都是通过Jhipster生成。 工程代码生成完之后,根据上一节启动的组件的实际情况,修改微服务配置文件中Eureka和database相关的配置。

3903
来自专栏Laoqi's Linux运维专列

zabbix 2.4.7 proxy代理端升级到zabbix 3.2.3

2612

扫码关注云+社区