浪浪山下那个村-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

浪浪山下那个村

应无所住，而生其心。 --《金刚经》吾生也有涯，而知也无涯。 --《庄子》

专栏成员

143

文章

107468

阅读量

21

订阅数

Flink 常见问题总结

flink 内存日志异步异常

如果您看到从 TaskExecutorProcessUtils 或 JobManagerProcessUtils 抛出的IllegalConfigurationException，通常表明存在无效的配置值（例如负内存大小、大于 1 的分数等）或配置冲突。请重新配置内存参数。

2023-10-17

7410

【Flink】【更新中】状态后端和checkpoint

存储 flink 后端配置数据

有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能：

2023-10-17

4980

Flink Checkpoint/Savepoint对比

存储 flink 集群兼容性效率

Flink 为作业的容错提供 Checkpoint 和 Savepoint 两种机制。保存点机制（Savepoints）是检查点机制一种特殊的实现，它允许你通过手工方式来触发Checkpoint，并将结果持久化存储到指定路径中，主要用于避免Flink集群在重启或升级时导致状态丢失。

2023-10-17

2440

Flink基本架构

flink 服务集群架构连接

Flink 的 Master 节点包含了三个组件: Dispatcher、ResourceManager 和 JobManager。

2023-10-17

1440

Hudi 基础知识详解

flink apache-flink

Apache Hudi将核心仓库和数据库功能直接带到数据湖中。Hudi提供了表、事务、高效upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发，同时保持数据以开源文件格式保留。

2023-10-06

2.8K0

java 17运行jar报错：java.lang.UnsatisfiedLinkError: Can't load library:

flink apache-flink

The following packages were automatically installed and are no longer required:

2023-09-17

1.1K0

Flink Checkpoint/Savepoint对比

apache-flink flink

Flink 为作业的容错提供 Checkpoint 和 Savepoint 两种机制。保存点机制（Savepoints）是检查点机制一种特殊的实现，它允许你通过手工方式来触发Checkpoint，并将结果持久化存储到指定路径中，主要用于避免Flink集群在重启或升级时导致状态丢失。

2023-09-17

3020

【Flink】【更新中】状态后端和checkpoint

有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能：

2023-09-06

4130

记录一次由于Jar包冲突导致的神奇问题

jar flink 客户端配置源码

今天同事找我帮忙看一个Flink的问题，现象是前几天还能提交的客户端，就在今天突然提交不了作业了，报错提示大概如下（公司的东西涉密）

2023-05-23

5920

Flink SQL 优化

flink 大数据 sql windows javascript

Flink SQL可以指定空闲状态（即未更新的状态）被保留的最小时间当状态中某个 key对应的状态未更新的时间达到阈值时，该条状态被自动清理。

2023-03-08

6600

Flink SQL 优化

flink 大数据 sql windows javascript

Flink SQL可以指定空闲状态（即未更新的状态）被保留的最小时间当状态中某个 key对应的状态未更新的时间达到阈值时，该条状态被自动清理。

2023-02-05

1.2K0

Flink数据倾斜理解

flink 大数据 kafka sql

数据倾斜就是数据的分布严重不均，流入部分算子的数据明显多余其他算子，造成这部分算子压力过大。

2023-01-16

1.4K0

Flink作业反压处理

flink 大数据数据处理

反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafka consumer）的摄入速率。

2023-01-08

1.1K0

Flink状态后端和CheckPoint 调优

flink 大数据

RocksDB 是嵌入式的 Key-Value 数据库，在 Flink 中被用作 RocksDBStateBackend 的底层存储。如下图所示，RocksDB 持久化的 SST文件在本地文件系统上通过多个层级进行组织，不同层级之间会通过异步Compaction 合并重复、过期和已删除的数据。在 RocksDB 的写入过程中，数据经过序列化后写入到WriteBuffer，WriteBuffer 写满后转换为 Immutable Memtable 结构，再通过 RocksDB 的flush 线程从内存 flush 到磁盘上；读取过程中，会先尝试从 WriteBuffer 和 Immutable Memtable 中读取数据，如果没有找到，则会查询 Block Cache，如果内存中都没有的话，则会按层级查找底层的 SST 文件，并将返回的结果所在的 Data Block 加载到 BlockCache，返回给上层应用。

2023-01-02

1.4K0

Flink资源调优

大数据 flink jvm

Flink 使用内存 = 框架堆内和堆外内存 + Task堆内和堆外内存 + 网络缓冲内存 + 管理内存。

2023-01-01

3690

自定义Data Sink

flink 大数据云数据库 SQL Server kafka java

上一篇文章介绍了 Flink Data Sink，也介绍了 Flink 自带的 Sink，那么如何自定义自己的 Sink 呢？这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。

2022-06-17

2880

Flink 写入数据到 Kafka

kafka flink 大数据

通过Flink官网可以看到Flink里面就默认支持了不少sink，比如也支持Kafka sink connector（FlinkKafkaProducer），那么这篇文章我们就来看看如何将数据写入到Kafka。

2022-06-17

1.8K0

flink 简单入门

flink 大数据 java http

安装查看java 版本，我的版本是java 8 下载flink，下载地址https://flink.apache.org/downloads.html 下载完了之后，解压并且执行： ./start-

2022-06-17

2610

Flink 配置文件详解

flink 大数据 sql

flink 的安装参照：flink 简单入门，我们来了解下flink的配置文件。

2022-06-17

1.6K0

Data Sink 介绍

flink 大数据 kafka nosql Elasticsearch Service

如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的操作，操作完后就把计算后的数据结果 Sink 到某个地方。（可以是 MySQL、ElasticSearch、Kafka、Cassandra 等）。这里我说下自己目前做告警这块就是把 Compute 计算后的结果 Sink 直接告警出来了（发送告警消息到钉钉群、邮件、短信等），这个 sink 的意思也不一定非得说成要把数据存储到某个地方去。其实官网用的 Connector 来形容要去的地方更合适，这个 Connector 可以有 MySQL、ElasticSearch、Kafka、Cassandra RabbitMQ 等。

2022-06-17

1.1K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态