腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
浪浪山下那个村
应无所住,而生其心。 --《金刚经》 吾生也有涯,而知也无涯。 --《庄子》
专栏成员
举报
143
文章
107585
阅读量
21
订阅数
订阅专栏
申请加入专栏
全部文章(143)
云数据库 Redis(29)
编程算法(29)
flink(20)
linux(12)
大数据(12)
sql(11)
机器学习(9)
神经网络(9)
存储(9)
缓存(9)
java(8)
深度学习(7)
数据库(6)
打包(6)
git(6)
人工智能(6)
网站(6)
https(6)
kafka(6)
配置(6)
http(5)
hadoop(5)
内存(5)
数据(5)
javascript(4)
node.js(4)
网络安全(4)
jvm(4)
ide(3)
github(3)
unix(3)
容器镜像服务(3)
yarn(3)
kerberos(3)
apache-flink(3)
编译(3)
操作系统(3)
插件(3)
服务(3)
函数(3)
集群(3)
接口(3)
日志(3)
事件(3)
优化(3)
源码(3)
c++(2)
jquery ui(2)
html(2)
android(2)
api(2)
jar(2)
ubuntu(2)
nginx(2)
文件存储(2)
访问管理(2)
SSL 证书(2)
腾讯云测试服务(2)
开源(2)
jdk(2)
监督学习(2)
cdn(2)
单元测试(2)
gcc(2)
socket编程(2)
windows(2)
迁移(2)
hdfs(2)
neovim(2)
博客(2)
磁盘(2)
管理(2)
连接(2)
权限(2)
文件系统(2)
源码分析(2)
状态机(2)
云服务器(1)
NLP 服务(1)
c 语言(1)
python(1)
lua(1)
bash(1)
scala(1)
bootstrap(1)
xml(1)
jquery(1)
云数据库 SQL Server(1)
oracle(1)
nosql(1)
搜索引擎(1)
centos(1)
mapreduce(1)
腾讯云可观测平台(1)
消息队列 CMQ 版(1)
云推荐引擎(1)
容器(1)
分布式(1)
黑客(1)
图像识别(1)
卷积神经网络(1)
正则表达式(1)
决策树(1)
线性回归(1)
unity(1)
rpc(1)
jenkins(1)
gradle(1)
scikit-learn(1)
安全(1)
数据分析(1)
数据处理(1)
数据结构(1)
聚类算法(1)
Elasticsearch Service(1)
apt(1)
awt(1)
case(1)
container(1)
data(1)
db(1)
debian(1)
dfs(1)
event(1)
exists(1)
exit(1)
hadoop-yarn(1)
key(1)
kill(1)
layer(1)
load(1)
mnist(1)
model(1)
nodes(1)
project(1)
return(1)
reverse(1)
server(1)
string(1)
tar(1)
编程(1)
登录(1)
递归(1)
对象(1)
二进制(1)
工具(1)
工作(1)
后端(1)
华为(1)
架构(1)
兼容性(1)
解决方案(1)
进程(1)
开发(1)
客户端(1)
快捷键(1)
面试(1)
软件(1)
生命周期(1)
算法(1)
索引(1)
线程(1)
效率(1)
协议(1)
性能(1)
压缩(1)
异步(1)
异常(1)
原理(1)
搜索文章
搜索
搜索
关闭
Flink 常见问题总结
flink
内存
日志
异步
异常
如果您看到从 TaskExecutorProcessUtils 或 JobManagerProcessUtils 抛出的IllegalConfigurationException,通常表明 存在无效的配置值(例如负内存大小、大于 1 的 分数等)或配置冲突。请重新配置内存参数。
zeekling
2023-10-17
741
0
【Flink】【更新中】状态后端和checkpoint
存储
flink
后端
配置
数据
有状态的计算是流处理框架要实现的重要功能,因为稍复杂的流处理场景都需要记录状态,然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能:
zeekling
2023-10-17
499
0
Flink Checkpoint/Savepoint对比
存储
flink
集群
兼容性
效率
Flink 为作业的容错提供 Checkpoint 和 Savepoint 两种机制。保存点机制(Savepoints)是检查点机制一种特殊的实现,它允许你通过手工方式来触发Checkpoint,并将结果持久化存储到指定路径中,主要用于避免Flink集群在重启或升级时导致状态丢失。
zeekling
2023-10-17
244
0
Flink基本架构
flink
服务
集群
架构
连接
Flink 的 Master 节点包含了三个组件: Dispatcher、ResourceManager 和 JobManager。
zeekling
2023-10-17
144
0
Hudi 基础知识详解
flink
apache-flink
Apache Hudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表、事务、高效upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发,同时保持数据以开源文件格式保留。
zeekling
2023-10-06
2.8K
0
java 17运行jar报错:java.lang.UnsatisfiedLinkError: Can't load library:
flink
apache-flink
The following packages were automatically installed and are no longer required:
zeekling
2023-09-17
1.1K
0
Flink Checkpoint/Savepoint对比
apache-flink
flink
Flink 为作业的容错提供 Checkpoint 和 Savepoint 两种机制。保存点机制(Savepoints)是检查点机制一种特殊的实现,它允许你通过手工方式来触发Checkpoint,并将结果持久化存储到指定路径中,主要用于避免Flink集群在重启或升级时导致状态丢失。
zeekling
2023-09-17
307
0
【Flink】【更新中】状态后端和checkpoint
flink
有状态的计算是流处理框架要实现的重要功能,因为稍复杂的流处理场景都需要记录状态,然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能:
zeekling
2023-09-06
414
0
记录一次由于Jar包冲突导致的神奇问题
jar
flink
客户端
配置
源码
今天同事找我帮忙看一个Flink的问题,现象是前几天还能提交的客户端,就在今天突然提交不了作业了,报错提示大概如下(公司的东西涉密)
zeekling
2023-05-23
594
0
Flink SQL 优化
flink
大数据
sql
windows
javascript
Flink SQL可以指定空闲状态(即未更新的状态)被保留的最小时间 当状态中某个 key对应的 状态未更新的时间达到阈值时, 该条状态被自动清理。
zeekling
2023-03-08
660
0
Flink SQL 优化
flink
大数据
sql
windows
javascript
Flink SQL可以指定空闲状态(即未更新的状态)被保留的最小时间 当状态中某个 key对应的 状态未更新的时间达到阈值时, 该条状态被自动清理。
zeekling
2023-02-05
1.2K
0
Flink数据倾斜理解
flink
大数据
kafka
sql
数据倾斜就是数据的分布严重不均,流入部分算子的数据明显多余其他算子,造成这部分算子压力过大。
zeekling
2023-01-16
1.4K
0
Flink作业反压处理
flink
大数据
数据处理
反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为 瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和 消费端的解耦,消费端数据源是 pull-based 的,所以反压通常是从某个节点传导至数据源并降低数据源(比如 Kafka consumer)的摄入速率。
zeekling
2023-01-08
1.1K
0
Flink状态后端和CheckPoint 调优
flink
大数据
RocksDB 是嵌入式的 Key-Value 数据库,在 Flink 中被用作 RocksDBStateBackend 的底层存储。如下图所示,RocksDB 持久化的 SST文件在本地文件系统上通过多个层级进行组织,不同层级之间会通过异步Compaction 合并重复、过期和已删除的数据。在 RocksDB 的写入过程中,数据经过序列化后写入到WriteBuffer,WriteBuffer 写满后转换为 Immutable Memtable 结构,再通过 RocksDB 的flush 线程从内存 flush 到磁盘上;读取过程中,会先尝试从 WriteBuffer 和 Immutable Memtable 中读取数据,如果没有找到,则会查询 Block Cache,如果内存中都没有的话,则会按层级查找底层的 SST 文件,并将返回的结果所在的 Data Block 加载到 BlockCache,返回给上层应用。
zeekling
2023-01-02
1.4K
0
Flink资源调优
大数据
flink
jvm
Flink 使用内存 = 框架堆内和堆外内存 + Task堆内和堆外内存 + 网络缓冲内存 + 管理内存。
zeekling
2023-01-01
369
0
自定义Data Sink
flink
大数据
云数据库 SQL Server
kafka
java
上一篇文章介绍了 Flink Data Sink,也介绍了 Flink 自带的 Sink,那么如何自定义自己的 Sink 呢?这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。
zeekling
2022-06-17
288
0
Flink 写入数据到 Kafka
kafka
flink
大数据
通过Flink官网可以看到Flink里面就默认支持了不少sink,比如也支持Kafka sink connector(FlinkKafkaProducer),那么这篇文章我们就来看看如何将数据写入到Kafka。
zeekling
2022-06-17
1.8K
0
flink 简单入门
flink
大数据
java
http
安装 查看java 版本,我的版本是java 8 下载flink,下载地址https://flink.apache.org/downloads.html 下载完了之后,解压并且执行: ./start-
zeekling
2022-06-17
261
0
Flink 配置文件详解
flink
大数据
sql
flink 的安装参照:flink 简单入门, 我们来了解下flink的配置文件。
zeekling
2022-06-17
1.6K
0
Data Sink 介绍
flink
大数据
kafka
nosql
Elasticsearch Service
如上图,Source 就是数据的来源,中间的 Compute 其实就是 Flink 干的事情,可以做一系列的操作,操作完后就把计算后的数据结果 Sink 到某个地方。(可以是 MySQL、ElasticSearch、Kafka、Cassandra 等)。这里我说下自己目前做告警这块就是把 Compute 计算后的结果 Sink 直接告警出来了(发送告警消息到钉钉群、邮件、短信等),这个 sink 的意思也不一定非得说成要把数据存储到某个地方去。其实官网用的 Connector 来形容要去的地方更合适,这个 Connector 可以有 MySQL、ElasticSearch、Kafka、Cassandra RabbitMQ 等。
zeekling
2022-06-17
1.1K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档