flink和hudi集成报io.javalin.core.CachedRequestWrapper.getContentLengthLong()J异常

从异常信息知是jar包版本导致的，因为Javalin requires javax.servlet version 3.1.0

模型设计(数据仓库、星型、雪花型、星系模式)

数据仓库是多维数据库，它扩展了关系数据库模型，以星形架构为主要结构方式的，并在它的基础上，扩展出理论雪花形架构和数据星座等方式，但不管是哪一种架构，维度...

spark sql读取hudi表数据

这篇文章接上一篇spark submit读写hudi,上一篇spark submit写入hudi的数据这里打算通过spark sql来进行查询

kafka消费者

当有多个应用程序都需要从Kafka获取消息时，让每个app对应一个消费者组，从而使每个应用程序都能获取一个或多个Topic的全部消息；在每个消费者组中，往消费...

kafka架构和常见术语

Kafka是一个分布式系统，易于向外扩展。它同时为发布和订阅提供高吞吐量。它支持多订阅者，当失败时能自动平衡消费者。消息的持久化。

flink rocketmq消费和写入数据

通过yaml文件可知总共有三个组件：分别为nameserver, broker, web console

flinkx数据同步

git clone https://github.com/DTStack/flinkx.git

flinkx同步es2hive

【转】ElasticSearch快速使用篇（基本命令篇）

curl -X PUT http://10.210.40.59:9200/manage?pretty

hudi同步hive出现错误java.lang.NoSuchMethodError

Flink 状态生存时间（State TTL）设置

spark submit读写hudi

数据导入：cat batch_1.json | kafkacat -b localhost:9092 -t stock_ticks -P

使用Prometheus+Grafana监控Flink on YARN作业

实时作业要保证7 x 24运行，除了要在业务逻辑和编码上下功夫之外，好的监控系统也是必不可少的。Flink支持多种汇报监控指标（metrics）的reporte...

kafka docker搭建

kafka-topics.sh --create --topic test \ --zookeeper zookeeper:2181 --replicatio...

mysql docker搭建

15117a33fc98 mysql:8.0 "docker-entrypoint.s…" 24 minutes ago Up 23 minutes 0.0.0...

Mac安装Homebrew的正确姿势

Homebrew是 mac的包管理器，仅需执行相应的命令,就能下载安装需要的软件包，可以省掉自己去下载、解压、拖拽(安装)等繁琐的步骤。 比如安装服务器 ngi...

flink etl

这种 join 方式需要去保留两个流的状态，持续性地保留并且不会去做清除。两边的数据对于对方的流都是所有可见的，所以数据就需要持续性的存在state里面，那么 ...

数据湖

>消息队列本身对数据存储有时效性，且当前无法使用 OLAP 引擎直接分析消息队列 中的数据

hbase启动找不到主类

: 错误: 找不到或无法加载主类 .Library.Java.JavaVirtualMachines.jdk1.8.0_291.jdk.Contents....