yiduwangkai

LV1
发表了文章

kafka消费者

当有多个应用程序都需要从Kafka获取消息时,让每个app对应一个消费者组,从而使每个应用程序都能获取一个或多个Topic的全部消息;在每个消费者组中,往消费...

yiduwangkai
发表了文章

kafka架构和常见术语

Kafka是一个分布式系统,易于向外扩展。它同时为发布和订阅提供高吞吐量。它支持多订阅者,当失败时能自动平衡消费者。消息的持久化。

yiduwangkai
发表了文章

flink rocketmq消费和写入数据

通过yaml文件可知总共有三个组件:分别为nameserver, broker, web console

yiduwangkai
发表了文章

flinkx数据同步

git clone https://github.com/DTStack/flinkx.git

yiduwangkai
发表了文章

flinkx同步es2hive

yiduwangkai
发表了文章

【转】ElasticSearch快速使用篇(基本命令篇)

curl -X PUT http://10.210.40.59:9200/manage?pretty

yiduwangkai
发表了文章

hudi同步hive出现错误java.lang.NoSuchMethodError

yiduwangkai
发表了文章

Flink 状态生存时间(State TTL)设置

yiduwangkai
发表了文章

spark submit读写hudi

数据导入:cat batch_1.json | kafkacat -b localhost:9092 -t stock_ticks -P

yiduwangkai
发表了文章

使用Prometheus+Grafana监控Flink on YARN作业

实时作业要保证7 x 24运行,除了要在业务逻辑和编码上下功夫之外,好的监控系统也是必不可少的。Flink支持多种汇报监控指标(metrics)的reporte...

yiduwangkai
发表了文章

kafka docker搭建

kafka-topics.sh --create --topic test \ --zookeeper zookeeper:2181 --replicatio...

yiduwangkai
发表了文章

mysql docker搭建

15117a33fc98 mysql:8.0 "docker-entrypoint.s…" 24 minutes ago Up 23 minutes 0.0.0...

yiduwangkai
发表了文章

Mac安装Homebrew的正确姿势

Homebrew是 mac的包管理器,仅需执行相应的命令,就能下载安装需要的软件包,可以省掉自己去下载、解压、拖拽(安装)等繁琐的步骤。 比如安装服务器 ngi...

yiduwangkai
发表了文章

flink etl

这种 join 方式需要去保留两个流的状态,持续性地保留并且不会去做清除。两边的数据对于对方的流都是所有可见的,所以数据就需要持续性的存在state里面,那么 ...

yiduwangkai
发表了文章

数据湖

>消息队列本身对数据存储有时效性,且当前无法使用 OLAP 引擎直接分析消息队列 中的数据

yiduwangkai
发表了文章

hbase启动找不到主类

: 错误: 找不到或无法加载主类 .Library.Java.JavaVirtualMachines.jdk1.8.0_291.jdk.Contents....

yiduwangkai
预约了直播

云原生正发声--Kubernetes 高性能调度器设计与实现

2021-06-29回顾中
发表了文章

搭建高可用的flink JobManager HA

JobManager协调每个flink应用的部署,它负责执行定时任务和资源管理。每一个Flink集群都有一个jobManager, 如果jobManager出现...

yiduwangkai
关注了用户

云加社区技术沙龙

腾讯云+社区技术沙龙官方号

149 文章0 回答6.1K 关注者
订阅了专栏

腾讯云技术沙龙

146 文章6.1K 关注者

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券