详细图解日志收集系统Flume介绍以及安装配置

Flume的概念:flume是分布式的日志收集系统,它将各个服务器中的数据收集起来并送到指定的地方去,比如说送到图中的HDFS,简单来说flume就是收集日志的。

Flume下载下来后解压就可以使用,无需安装。

这里假设有三台服务器,其中两台是应用服务器,我把他们标识为A服务器和B服务器,还有一台就是日志服务器。

将A服务器和B服务器上的Tomcat日志全部收集到日志服务器上来,然后进行各种处理。

示例使用最常用的扇入模式(将多台机器上的日志汇集到一台机器上处理)

1. 将Flume分别解压到三台服务器

2. 写配置文件

扇入流模式(将多台机器上的日志汇集到一台机器上处理)

A服务器[flume-conf.properties]

agent.sources = spoDirSrc agent.channels = memoryChannel agent.sinks = avroSink agent.sources.spoDirSrc.type = spooldir agent.sources.spoDirSrc.spoolDir = /root/logs agent.sources.spoDirSrc.channels = memoryChannel agent.sinks.avroSink.type = avro agent.sinks.avroSink.hostname = 192.168.56.186 agent.sinks.avroSink.port = 44444 agent.sinks.avroSink.channel = memoryChannel agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000 agent.channels.memoryChannel.transactionCapacity = 100

-----------------------------------------

B服务器[flume-conf.properties]

agent.sources = spoDirSrc agent.channels = memoryChannel agent.sinks = avroSink agent.sources.spoDirSrc.type = spooldir agent.sources.spoDirSrc.spoolDir = /root/logs agent.sources.spoDirSrc.channels = memoryChannel agent.sinks.avroSink.type = avro agent.sinks.avroSink.hostname = 192.168.56.186 agent.sinks.avroSink.port = 44444 agent.sinks.avroSink.channel = memoryChannel agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000 agent.channels.memoryChannel.transactionCapacity = 100

-----------------------------------------

日志服务器(192.168.56.186)[flume-conf.properties]

agent.sources = avroSrc agent.channels = memoryChannel agent.sinks = fileRollSink agent.sources.avroSrc.type = avro agent.sources.avroSrc.bind = 0.0.0.0 agent.sources.avroSrc.port = 44444 agent.sources.avroSrc.channels = memoryChannel agent.sinks.fileRollSink.type = file_roll agent.sinks.fileRollSink.sink.directory = /root/logs agent.sinks.fileRollSink.sink.rollInterval = 86400 agent.sinks.fileRollSink.channel = memoryChannel agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 1000 agent.channels.memoryChannel.transactionCapacity = 100

-----------------------------------------

3. 分别启动Flume

首先启动日志服务器上的Flume,然后再启动A和B上的Flume

> cd /usr/local/flume1.7/bin > ./flume-ng agent --conf ../conf --conf-file ../conf/flume-conf.properties --name agent -Dflume.root.logger=INFO,console &

原创声明,本文系作者授权云+社区-专栏发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

Github 项目推荐 | Nvidia 图片风格转换工具 —— FastPhotoStyle

FastPhotoStyle 是 Nvidia 的图片风格转换工具,其中包含了照片变为各种艺术风格的算法。通过给定的照片和风格,该工具可通过特定的算法何成为用户...

34511
来自专栏企鹅号快讯

如何使用Mahout在hadoop进行集群分析

Mahout是Apache下的开源机器学习软件包,目前实现的机器学习算法主要包含有协同过滤/推荐引擎,聚类和分类三个部分。Mahout从设计开始就旨在建立可扩展...

2145
来自专栏wOw的Android小站

[Tensorflow] 使用SSD-MobileNet训练模型

因为Android Demo里的模型是已经训练好的,模型保存的label都是固定的,所以我们在使用的时候会发现还有很多东西它识别不出来。那么我们就需要用它来训练...

1581
来自专栏一个会写诗的程序员的博客

安装 TensorFlow安装 TensorFlow

我们已在如下配置的 64 位笔记本电脑/台式机操作系统中构建并测试过 TensorFlow:

522
来自专栏AI研习社

Github 项目推荐 | 用 PyTorch 0.4 实现的 YoloV3

该库 fork 自 @github/marvis 的 pytorch-yolo2,不过作者没有直接修改或者更新 marvis 的源文件,因为很多文件已经改了文件...

733
来自专栏机器之心

观点 | 别再使用pip安装TensorFlow了!用conda吧~

conda 是一个开源包和环境管理系统,能够跨平台运行,在 Mac、Windows 和 Linux 上都可以运行。如果你还没用过 conda,我推荐你立刻开始使...

192
来自专栏CreateAMind

WGAN 代码测试-人脸数据集和mnist

对 keras : tensorflow https://github.com/zdx3578/DeepLearningImplementations/tree...

893
来自专栏人工智能LeadAI

配置深度学习主机与环境(TensorFlow+1080Ti) | 第三章 CUDA与CUDNN安装

01 概念介绍 CUDA(Compute Unified Device Architecture 统一计算设备架构) CUDA(Compute Unified ...

3927
来自专栏偏前端工程师的驿站

CentOS6.5菜鸟之旅:安装ATI显卡驱动

一、前言                                       自从安装了CentOS,我的显卡就没消停过,一直在彪高温而且噪音特别大,于...

23310
来自专栏云计算教程系列

如何在Ubuntu 16.04上安装和使用TensorFlow

TensorFlow是一款由Google构建的用于训练神经网络的开源机器学习软件。TensorFlow的神经网络以有状态数据流图的形式表示。图中的每个节点表示神...

1548

扫码关注云+社区