腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据进阶
专栏成员
举报
95
文章
144264
阅读量
19
订阅数
订阅专栏
申请加入专栏
全部文章(95)
大数据(27)
java(15)
编程算法(12)
flink(10)
node.js(9)
kafka(9)
sql(7)
数据库(6)
容器镜像服务(6)
http(6)
容器(6)
linux(5)
unix(5)
文件存储(5)
dubbo(5)
https(5)
ide(4)
yarn(4)
网络安全(4)
hadoop(4)
zookeeper(4)
javascript(3)
scala(3)
xml(3)
jar(3)
apache(3)
网站(3)
spark(3)
hive(3)
uml(3)
windows(3)
数据结构(3)
php(2)
go(2)
json(2)
git(2)
github(2)
spring(2)
企业(2)
存储(2)
开源(2)
缓存(2)
jdk(2)
jvm(2)
tcp/ip(2)
接口(2)
系统(2)
费用中心(1)
ios(1)
mac os(1)
iphone(1)
python(1)
ruby(1)
servlet(1)
html(1)
ecmascript(1)
android(1)
云数据库 SQL Server(1)
mapreduce(1)
日志服务(1)
TDSQL MySQL 版(1)
消息队列 CMQ 版(1)
SSL 证书(1)
腾讯云测试服务(1)
kubernetes(1)
分布式(1)
运维(1)
压力测试(1)
shell(1)
正则表达式(1)
面向对象编程(1)
jenkins(1)
socket编程(1)
安全(1)
hbase(1)
es(1)
Elasticsearch Service(1)
数据湖(1)
argv(1)
cas(1)
config(1)
data(1)
function(1)
identity(1)
lambda(1)
lock(1)
map(1)
median(1)
ps(1)
setter(1)
storm(1)
stream(1)
supervisor(1)
synchronized(1)
sys(1)
ui(1)
volatile(1)
编译器(1)
测试(1)
基础(1)
命令行(1)
排序(1)
数据(1)
算法(1)
搜索文章
搜索
搜索
关闭
flink和hudi集成报io.javalin.core.CachedRequestWrapper.getContentLengthLong()J异常
java
jar
从异常信息知是jar包版本导致的,因为Javalin requires javax.servlet version 3.1.0
yiduwangkai
2022-05-09
497
0
模型设计(数据仓库、星型、雪花型、星系模式)
数据库
sql
企业
数据仓库是多维数据库,它扩展了关系数据库模型,以星形架构为主要结构方式的,并在它的基础上,扩展出理论雪花形架构和数据星座等方式,但不管是哪一种架构,维度表、事实表和事实表中的量度都是必不可少的组成要素。
yiduwangkai
2022-03-24
1.1K
0
spark sql读取hudi表数据
spark
sql
hive
xml
腾讯云测试服务
这篇文章接上一篇spark submit读写hudi,上一篇spark submit写入hudi的数据这里打算通过spark sql来进行查询
yiduwangkai
2022-03-24
1.9K
3
kafka消费者
node.js
kafka
当有多个应用程序都需要从Kafka获取消息时,让每个app对应一个消费者组,从而使每个应用程序都能获取一个或多个Topic的全部消息;在每个消费者组中,往消费者组中添加消费者来伸缩读取能力和处理能力,消费者组中的每个消费者只处理每个Topic的一部分的消息,每个消费者对应一个线程。
yiduwangkai
2022-01-20
950
0
kafka架构和常见术语
node.js
kafka
Kafka是一个分布式系统,易于向外扩展。它同时为发布和订阅提供高吞吐量。它支持多订阅者,当失败时能自动平衡消费者。消息的持久化。
yiduwangkai
2022-01-05
383
0
flink rocketmq消费和写入数据
容器镜像服务
flink
容器
大数据
apache
通过yaml文件可知总共有三个组件:分别为nameserver, broker, web console
yiduwangkai
2021-11-24
4.9K
0
flinkx数据同步
flink
大数据
hadoop
javascript
json
git clone https://github.com/DTStack/flinkx.git
yiduwangkai
2021-11-22
2K
0
flinkx同步es2hive
容器镜像服务
Elasticsearch Service
容器
es
ecmascript
一.elasticsearch环境准备 elasticsearch 6.4.3 es-head elasticsearch的部署基于docker进行部署 首先我们来看一下目录结构 📷 cd docker mkdir -p es cd es mkdir -p conf mkdir -p data mkdir -p logs 下面看一下docker-compose.yml version: '3' services: elasticsearch: image: elasticsearch:6.4
yiduwangkai
2021-11-22
434
0
【转】ElasticSearch快速使用篇(基本命令篇)
http
json
网络安全
数据库
sql
1. 创建index(database)# curl -X PUT http://10.210.40.59:9200/manage?pretty --服务器ip端口号就不说了 --manage
yiduwangkai
2021-11-22
292
0
hudi同步hive出现错误java.lang.NoSuchMethodError
hive
flink
大数据
flink写入hudi,开启自动同步 hudi表结构如下: CREATE TABLE myhive.test.hudi_users2_m_has_s ( id BIGINT PRIMARY KEY NOT ENFORCED, name STRING, birthday TIMESTAMP(3), ts TIMESTAMP(3) ) WITH ( 'connector' = 'hudi', 'table.type' = 'MERG
yiduwangkai
2021-10-22
1.9K
0
Flink 状态生存时间(State TTL)设置
unix
为什么状态需要被清理 状态不需要一次存储 状态有效期有时间限制,超过时间需要重置状态(业务上) 开启状态清理: StateTtlConfig ttlConfig = StateTtlConfig .newBuilder(Time.seconds(1)) .setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite) .setStateVisibility(St
yiduwangkai
2021-10-15
2.4K
0
spark submit读写hudi
hive
kafka
hadoop
spark
javascript
数据导入:cat batch_1.json | kafkacat -b localhost:9092 -t stock_ticks -P
yiduwangkai
2021-09-10
1.2K
0
使用Prometheus+Grafana监控Flink on YARN作业
yarn
node.js
flink
大数据
网站
实时作业要保证7 x 24运行,除了要在业务逻辑和编码上下功夫之外,好的监控系统也是必不可少的。Flink支持多种汇报监控指标(metrics)的reporter,如JMX、SLF4J、InfluxDB、Prometheus等。
yiduwangkai
2021-09-10
2.1K
0
kafka docker搭建
kafka
zookeeper
容器镜像服务
容器
tcp/ip
kafka-topics.sh --create --topic test \ --zookeeper zookeeper:2181 --replication-factor 1 \ --partitions 1
yiduwangkai
2021-07-27
504
0
mysql docker搭建
sql
容器镜像服务
数据库
云数据库 SQL Server
容器
15117a33fc98 mysql:8.0 "docker-entrypoint.s…" 24 minutes ago Up 23 minutes 0.0.0.0:3306->3306/tcp, 33060/tcp mysql-docker
yiduwangkai
2021-07-27
1.1K
0
Mac安装Homebrew的正确姿势
mac os
ruby
https
Homebrew是 mac的包管理器,仅需执行相应的命令,就能下载安装需要的软件包,可以省掉自己去下载、解压、拖拽(安装)等繁琐的步骤。 比如安装服务器 nginx,打开终端执行以下命令即可安装:
yiduwangkai
2021-07-27
41.5K
4
flink etl
缓存
flink
大数据
编程算法
数据库
这种 join 方式需要去保留两个流的状态,持续性地保留并且不会去做清除。两边的数据对于对方的流都是所有可见的,所以数据就需要持续性的存在state里面,那么 state 又不能存的过大,因此这个场景的只适合有界数据流或者结合ttl state配合使用。它的语法可以看一下,比较像离线批处理的 SQL
yiduwangkai
2021-07-14
1.1K
0
数据湖
数据湖
消息队列 CMQ 版
kafka
数据库
sql
>消息队列本身对数据存储有时效性,且当前无法使用 OLAP 引擎直接分析消息队列 中的数据
yiduwangkai
2021-07-01
628
0
hbase启动找不到主类
hbase
TDSQL MySQL 版
java
: 错误: 找不到或无法加载主类 .Library.Java.JavaVirtualMachines.jdk1.8.0_291.jdk.Contents.Home.bin.java
yiduwangkai
2021-07-01
1.1K
0
搭建高可用的flink JobManager HA
yarn
flink
node.js
大数据
JobManager协调每个flink应用的部署,它负责执行定时任务和资源管理。每一个Flink集群都有一个jobManager, 如果jobManager出现问题之后,将不能提交新的任务和运行新任务失败,这样会造成单点失败,所以需要构建高可用的JobMangager。
yiduwangkai
2021-06-29
1.4K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档