首页
学习
活动
专区
工具
TVP
发布

大数据进阶

专栏作者
95
文章
135292
阅读量
19
订阅数
flink和hudi集成报io.javalin.core.CachedRequestWrapper.getContentLengthLong()J异常
从异常信息知是jar包版本导致的,因为Javalin requires javax.servlet version 3.1.0
yiduwangkai
2022-05-09
4390
模型设计(数据仓库、星型、雪花型、星系模式)
数据仓库是多维数据库,它扩展了关系数据库模型,以星形架构为主要结构方式的,并在它的基础上,扩展出理论雪花形架构和数据星座等方式,但不管是哪一种架构,维度表、事实表和事实表中的量度都是必不可少的组成要素。
yiduwangkai
2022-03-24
1K0
spark sql读取hudi表数据
这篇文章接上一篇spark submit读写hudi,上一篇spark submit写入hudi的数据这里打算通过spark sql来进行查询
yiduwangkai
2022-03-24
1.8K3
kafka消费者
当有多个应用程序都需要从Kafka获取消息时,让每个app对应一个消费者组,从而使每个应用程序都能获取一个或多个Topic的全部消息;在每个消费者组中,往消费者组中添加消费者来伸缩读取能力和处理能力,消费者组中的每个消费者只处理每个Topic的一部分的消息,每个消费者对应一个线程。
yiduwangkai
2022-01-20
8900
kafka架构和常见术语
Kafka是一个分布式系统,易于向外扩展。它同时为发布和订阅提供高吞吐量。它支持多订阅者,当失败时能自动平衡消费者。消息的持久化。
yiduwangkai
2022-01-05
3320
flink rocketmq消费和写入数据
通过yaml文件可知总共有三个组件:分别为nameserver, broker, web console
yiduwangkai
2021-11-24
4.2K0
flinkx数据同步
git clone https://github.com/DTStack/flinkx.git
yiduwangkai
2021-11-22
1.9K0
flinkx同步es2hive
一.elasticsearch环境准备 elasticsearch 6.4.3 es-head elasticsearch的部署基于docker进行部署 首先我们来看一下目录结构 📷 cd docker mkdir -p es cd es mkdir -p conf mkdir -p data mkdir -p logs 下面看一下docker-compose.yml version: '3' services: elasticsearch: image: elasticsearch:6.4
yiduwangkai
2021-11-22
4120
【转】ElasticSearch快速使用篇(基本命令篇)
1. 创建index(database)# curl -X PUT http://10.210.40.59:9200/manage?pretty --服务器ip端口号就不说了 --manage
yiduwangkai
2021-11-22
2610
hudi同步hive出现错误java.lang.NoSuchMethodError
flink写入hudi,开启自动同步 hudi表结构如下: CREATE TABLE myhive.test.hudi_users2_m_has_s ( id BIGINT PRIMARY KEY NOT ENFORCED, name STRING, birthday TIMESTAMP(3), ts TIMESTAMP(3) ) WITH ( 'connector' = 'hudi', 'table.type' = 'MERG
yiduwangkai
2021-10-22
1.8K0
Flink 状态生存时间(State TTL)设置
为什么状态需要被清理 状态不需要一次存储 状态有效期有时间限制,超过时间需要重置状态(业务上) 开启状态清理: StateTtlConfig ttlConfig = StateTtlConfig .newBuilder(Time.seconds(1)) .setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite) .setStateVisibility(St
yiduwangkai
2021-10-15
2.2K0
spark submit读写hudi
数据导入:cat batch_1.json | kafkacat -b localhost:9092 -t stock_ticks -P
yiduwangkai
2021-09-10
1.1K0
使用Prometheus+Grafana监控Flink on YARN作业
实时作业要保证7 x 24运行,除了要在业务逻辑和编码上下功夫之外,好的监控系统也是必不可少的。Flink支持多种汇报监控指标(metrics)的reporter,如JMX、SLF4J、InfluxDB、Prometheus等。
yiduwangkai
2021-09-10
1.8K0
kafka docker搭建
kafka-topics.sh --create --topic test \ --zookeeper zookeeper:2181 --replication-factor 1 \ --partitions 1
yiduwangkai
2021-07-27
4620
mysql docker搭建
15117a33fc98 mysql:8.0 "docker-entrypoint.s…" 24 minutes ago Up 23 minutes 0.0.0.0:3306->3306/tcp, 33060/tcp mysql-docker
yiduwangkai
2021-07-27
1.1K0
Mac安装Homebrew的正确姿势
Homebrew是 mac的包管理器,仅需执行相应的命令,就能下载安装需要的软件包,可以省掉自己去下载、解压、拖拽(安装)等繁琐的步骤。 比如安装服务器 nginx,打开终端执行以下命令即可安装:
yiduwangkai
2021-07-27
39.5K4
flink etl
这种 join 方式需要去保留两个流的状态,持续性地保留并且不会去做清除。两边的数据对于对方的流都是所有可见的,所以数据就需要持续性的存在state里面,那么 state 又不能存的过大,因此这个场景的只适合有界数据流或者结合ttl state配合使用。它的语法可以看一下,比较像离线批处理的 SQL
yiduwangkai
2021-07-14
1K0
数据湖
>消息队列本身对数据存储有时效性,且当前无法使用 OLAP 引擎直接分析消息队列 中的数据
yiduwangkai
2021-07-01
5930
hbase启动找不到主类
: 错误: 找不到或无法加载主类 .Library.Java.JavaVirtualMachines.jdk1.8.0_291.jdk.Contents.Home.bin.java
yiduwangkai
2021-07-01
1K0
搭建高可用的flink JobManager HA
JobManager协调每个flink应用的部署,它负责执行定时任务和资源管理。每一个Flink集群都有一个jobManager, 如果jobManager出现问题之后,将不能提交新的任务和运行新任务失败,这样会造成单点失败,所以需要构建高可用的JobMangager。
yiduwangkai
2021-06-29
1.4K0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档