课程概述
腾讯云消息队列CKafka是一个分布式、高吞吐量、高扩展性的消息系统。CKafka基于发布/订阅模式，通过消息解耦，使生产者和消费者异步交互，无需彼此等待。CKafka具有数据压缩、同时支持离线和实时数据处理等优点，适用于日志压缩收集、监控数据聚合等场景。
本课程是腾讯云消息队列CKafka的实战课程。课程将介绍日志统计流平台、Flume和Spark Streaming。这个实战项目将通过日志流平台的搭建演示CKafka如何接入Flume和Spark Streaming。Web服务器产生的日志将通过Flume收集，然后通过CKafka将消息发送给Spark Streaming进行实时流计算。
【课程目标】
了解Flume的特点和核心组件
了解Spark Streaming的基本功能
在腾讯云CVM上配置Flume和Spark Streaming的环境
搭建日志流平台，将CKafka接入Flume和SparkStreaming
【适用对象】
商务、运维
【课程大纲】
知识模块 | 简介 |
|---|---|
消息队列 CKafka 应用与实战 | 日志统计流平台简介,Flume与Spark Streaming的简介,Ckafka接入flume和Spark Streaming实战一、二、三 |
机构简介
腾讯产业互联网学堂
腾讯云旗下面向云生态用户的一站式学习成长平台
讲义
本节课将介绍日志统计流平台简介。
日志统计流平台的流程为Web服务器产生日志，通过Flume日志收集框架收集日志，以CKafka作为消息队列，最后将消息发送给Spark Streaming。
本次实验所需的压缩包如图所示：
课程评价(0)
感谢你参加本课程，请你作出评价：
0/300
发表评价
以下选自学员评价
暂无精选评价
课程学习交流
请扫码关注腾讯产业互联网学堂微信公众号