腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
桥路_大数据
专栏作者
举报
164
文章
223929
阅读量
36
订阅数
订阅专栏
申请加入专栏
全部文章
大数据
hive
sql
数据库
mapreduce
存储
hadoop
node.js
数据
编程算法
分布式
linux
yarn
shell
云数据库 SQL Server
kafka
spark
java
react
文件存储
缓存
windows
hbase
html
ide
TDSQL MySQL 版
开源
产品
架构
python
javascript
git
jar
网络安全
面向对象编程
数据分析
数据处理
nat
工具
开发
其他
bash
android
github
http
reactnative
自动化
tcp/ip
https
数据仓库
php
nosql
api
centos
apache
nginx
bash 指令
spring
访问管理
serverless
yum
zookeeper
系统架构
etl
mysql
sqoop
进程
系统
线程
性能
费用中心
云服务器
官方文档
机器学习
bootstrap
jquery ui
xml
css
qt
打包
maven
unix
容器镜像服务
神经网络
深度学习
专用宿主机
云数据库 MongoDB
消息队列 CMQ 版
腾讯云测试服务
es 2
mongodb
网站
企业
数据安全
electron
容器
运维
html5
jdk
ssh
dns
npm
grep
markdown
gradle
安全
虚拟化
迁移
实时数仓
Elasticsearch Service
action
app
block
clickhouse
dql
error
exe
greenplum
having
hdfs
message
model
native
partition
range
rows
select
sort
tabbar
title
遍历
操作系统
磁盘
二维码
服务器
高并发
工作
管理
后端
集合
脚本
客户端
连接
流量
路由
命令行
摄像头
实践
数组
搜索
统计
文件上传
效率
消息队列
协程
虚拟机
压缩
优化
最佳实践
搜索文章
搜索
搜索
关闭
Kafka如何保证数据高可靠
数据安全
缓存
kafka
数据
性能
虽然说它存储到某个topic里的数据会先拆分多个partition,这体现了分治的一个思想。每一个partition在最终存储的时候会保存多个副本,不同的副本存储在不同的节点。这样的话任意一个节点挂掉,其实数据是不丢失的。
十里桃花舞丶
2023-10-16
134
0
历时三个月,游乐场优雅的干掉了我的环境搭建恐惧症
kafka
大数据
github
git
开源
你能想象,在一套刚装好的centos集群中,2分钟之内快速完成一整个集群完成初始化工作吗?
十里桃花舞丶
2021-09-10
231
0
实时数仓:Lambda架构
windows
serverless
实时数仓
kafka
在某些场景中,数据的价值随着时间的推移而逐渐减少。所以在传统大数据离线数仓的基础上,逐渐对数据的实时性提出了更高的要求。
十里桃花舞丶
2021-01-06
1.9K
0
实时数仓:Kappa架构
数据库
sql
kafka
消息队列 CMQ 版
serverless
上一期讲了Lambda架构,对于实时数仓而言,Lmabda架构有很明显的不足,首先同时维护两套系统,资源占用率高,其次这两套系统的数据处理逻辑相同,代码重复开发。
十里桃花舞丶
2021-01-06
6K
0
实时数仓:流式数据建模
数据库
数据处理
sql
kafka
数据模型设计是贯穿数据处理过程的,在实时流式数据处理中也一样。实时建模与离线建模类似,数据模型整体上分为5层(ODS、DWD、DWS、ADS、DIM)。
十里桃花舞丶
2021-01-06
1.3K
0
大数据技术体系梳理
spark
分布式
mapreduce
nosql
kafka
来一起认识下大数据的技术框架有哪些,它们分别用于解决哪些问题?它们的内在逻辑和适用场景有哪些?OK,一起去探索下。
十里桃花舞丶
2021-01-05
1.3K
0
使用flume搭建日志收集系统
kafka
前言 自动生成日志的打点服务器完成了,日志便可以顺利生成了。接下来就要使用flume对日志进行收集,即将日志产生的节点收集到一个日志主控节点上去,这样的目的是便于在主控节点上为不同的日志打上不同的标签,从而推送到kafka上,供不同的消费者来使用。下面为大家介绍一下如何使用flume搭建自己的日志收集系统。 环境 操作系统: CentOS7 * 2 Flume版本:flume-ng-1.6.0-cdh5.7.0 JDK版本:1.8 步骤 1. 分别安装jdk1.8和flume 上传到服务器后解压,配置环境变
十里桃花舞丶
2018-05-17
1K
0
多云服务器kafka环境搭建并接收flume日志数据
kafka
zookeeper
专用宿主机
html5
编程算法
前言 如果看过博主之前的文章,也可以了解到我正在搭建一个大数据的集群,所以花了血本弄了几台服务器。终于在flume将日志收集到日志主控flume节点上后,下一步要进行消息队列的搭建了。中间遇到过很多坎坷和坑,下面就为大家讲解一下搭建过程和注意事项,最终的成果是kafka搭建成功并接受flume主控传来的数据。 环境 服务器:CentOS7.2 JDK: jdk1.8.0_161 flume: apache-flume-1.6.0-cdh5.7.0 zookeeper: zookeeper-3.4.5-cdh
十里桃花舞丶
2018-05-17
1.1K
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档