首页
学习
活动
专区
工具
TVP
发布

桥路_大数据

专栏作者
164
文章
223929
阅读量
36
订阅数
Kafka如何保证数据高可靠
虽然说它存储到某个topic里的数据会先拆分多个partition,这体现了分治的一个思想。每一个partition在最终存储的时候会保存多个副本,不同的副本存储在不同的节点。这样的话任意一个节点挂掉,其实数据是不丢失的。
十里桃花舞丶
2023-10-16
1340
历时三个月,游乐场优雅的干掉了我的环境搭建恐惧症
你能想象,在一套刚装好的centos集群中,2分钟之内快速完成一整个集群完成初始化工作吗?
十里桃花舞丶
2021-09-10
2310
实时数仓:Lambda架构
在某些场景中,数据的价值随着时间的推移而逐渐减少。所以在传统大数据离线数仓的基础上,逐渐对数据的实时性提出了更高的要求。
十里桃花舞丶
2021-01-06
1.9K0
实时数仓:Kappa架构
上一期讲了Lambda架构,对于实时数仓而言,Lmabda架构有很明显的不足,首先同时维护两套系统,资源占用率高,其次这两套系统的数据处理逻辑相同,代码重复开发。
十里桃花舞丶
2021-01-06
6K0
实时数仓:流式数据建模
数据模型设计是贯穿数据处理过程的,在实时流式数据处理中也一样。实时建模与离线建模类似,数据模型整体上分为5层(ODS、DWD、DWS、ADS、DIM)。
十里桃花舞丶
2021-01-06
1.3K0
大数据技术体系梳理
来一起认识下大数据的技术框架有哪些,它们分别用于解决哪些问题?它们的内在逻辑和适用场景有哪些?OK,一起去探索下。
十里桃花舞丶
2021-01-05
1.3K0
使用flume搭建日志收集系统
前言 自动生成日志的打点服务器完成了,日志便可以顺利生成了。接下来就要使用flume对日志进行收集,即将日志产生的节点收集到一个日志主控节点上去,这样的目的是便于在主控节点上为不同的日志打上不同的标签,从而推送到kafka上,供不同的消费者来使用。下面为大家介绍一下如何使用flume搭建自己的日志收集系统。 环境 操作系统: CentOS7 * 2 Flume版本:flume-ng-1.6.0-cdh5.7.0 JDK版本:1.8 步骤 1. 分别安装jdk1.8和flume 上传到服务器后解压,配置环境变
十里桃花舞丶
2018-05-17
1K0
多云服务器kafka环境搭建并接收flume日志数据
前言 如果看过博主之前的文章,也可以了解到我正在搭建一个大数据的集群,所以花了血本弄了几台服务器。终于在flume将日志收集到日志主控flume节点上后,下一步要进行消息队列的搭建了。中间遇到过很多坎坷和坑,下面就为大家讲解一下搭建过程和注意事项,最终的成果是kafka搭建成功并接受flume主控传来的数据。 环境 服务器:CentOS7.2 JDK: jdk1.8.0_161 flume: apache-flume-1.6.0-cdh5.7.0 zookeeper: zookeeper-3.4.5-cdh
十里桃花舞丶
2018-05-17
1.1K0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档