腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
浪浪山下那个村
应无所住,而生其心。 --《金刚经》 吾生也有涯,而知也无涯。 --《庄子》
专栏成员
举报
143
文章
107468
阅读量
21
订阅数
订阅专栏
申请加入专栏
全部文章(143)
云数据库 Redis(29)
编程算法(29)
flink(20)
linux(12)
大数据(12)
sql(11)
机器学习(9)
神经网络(9)
存储(9)
缓存(9)
java(8)
深度学习(7)
数据库(6)
打包(6)
git(6)
人工智能(6)
网站(6)
https(6)
kafka(6)
配置(6)
http(5)
hadoop(5)
内存(5)
数据(5)
javascript(4)
node.js(4)
网络安全(4)
jvm(4)
ide(3)
github(3)
unix(3)
容器镜像服务(3)
yarn(3)
kerberos(3)
apache-flink(3)
编译(3)
操作系统(3)
插件(3)
服务(3)
函数(3)
集群(3)
接口(3)
日志(3)
事件(3)
优化(3)
源码(3)
c++(2)
jquery ui(2)
html(2)
android(2)
api(2)
jar(2)
ubuntu(2)
nginx(2)
文件存储(2)
访问管理(2)
SSL 证书(2)
腾讯云测试服务(2)
开源(2)
jdk(2)
监督学习(2)
cdn(2)
单元测试(2)
gcc(2)
socket编程(2)
windows(2)
迁移(2)
hdfs(2)
neovim(2)
博客(2)
磁盘(2)
管理(2)
连接(2)
权限(2)
文件系统(2)
源码分析(2)
状态机(2)
云服务器(1)
NLP 服务(1)
c 语言(1)
python(1)
lua(1)
bash(1)
scala(1)
bootstrap(1)
xml(1)
jquery(1)
云数据库 SQL Server(1)
oracle(1)
nosql(1)
搜索引擎(1)
centos(1)
mapreduce(1)
腾讯云可观测平台(1)
消息队列 CMQ 版(1)
云推荐引擎(1)
容器(1)
分布式(1)
黑客(1)
图像识别(1)
卷积神经网络(1)
正则表达式(1)
决策树(1)
线性回归(1)
unity(1)
rpc(1)
jenkins(1)
gradle(1)
scikit-learn(1)
安全(1)
数据分析(1)
数据处理(1)
数据结构(1)
聚类算法(1)
Elasticsearch Service(1)
apt(1)
awt(1)
case(1)
container(1)
data(1)
db(1)
debian(1)
dfs(1)
event(1)
exists(1)
exit(1)
hadoop-yarn(1)
key(1)
kill(1)
layer(1)
load(1)
mnist(1)
model(1)
nodes(1)
project(1)
return(1)
reverse(1)
server(1)
string(1)
tar(1)
编程(1)
登录(1)
递归(1)
对象(1)
二进制(1)
工具(1)
工作(1)
后端(1)
华为(1)
架构(1)
兼容性(1)
解决方案(1)
进程(1)
开发(1)
客户端(1)
快捷键(1)
面试(1)
软件(1)
生命周期(1)
算法(1)
索引(1)
线程(1)
效率(1)
协议(1)
性能(1)
压缩(1)
异步(1)
异常(1)
原理(1)
搜索文章
搜索
搜索
关闭
Flink SQL 优化
flink
大数据
sql
windows
javascript
Flink SQL可以指定空闲状态(即未更新的状态)被保留的最小时间 当状态中某个 key对应的 状态未更新的时间达到阈值时, 该条状态被自动清理。
zeekling
2023-03-08
660
0
Flink SQL 优化
flink
大数据
sql
windows
javascript
Flink SQL可以指定空闲状态(即未更新的状态)被保留的最小时间 当状态中某个 key对应的 状态未更新的时间达到阈值时, 该条状态被自动清理。
zeekling
2023-02-05
1.2K
0
Flink数据倾斜理解
flink
大数据
kafka
sql
数据倾斜就是数据的分布严重不均,流入部分算子的数据明显多余其他算子,造成这部分算子压力过大。
zeekling
2023-01-16
1.4K
0
Flink作业反压处理
flink
大数据
数据处理
反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为 瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和 消费端的解耦,消费端数据源是 pull-based 的,所以反压通常是从某个节点传导至数据源并降低数据源(比如 Kafka consumer)的摄入速率。
zeekling
2023-01-08
1.1K
0
Flink状态后端和CheckPoint 调优
flink
大数据
RocksDB 是嵌入式的 Key-Value 数据库,在 Flink 中被用作 RocksDBStateBackend 的底层存储。如下图所示,RocksDB 持久化的 SST文件在本地文件系统上通过多个层级进行组织,不同层级之间会通过异步Compaction 合并重复、过期和已删除的数据。在 RocksDB 的写入过程中,数据经过序列化后写入到WriteBuffer,WriteBuffer 写满后转换为 Immutable Memtable 结构,再通过 RocksDB 的flush 线程从内存 flush 到磁盘上;读取过程中,会先尝试从 WriteBuffer 和 Immutable Memtable 中读取数据,如果没有找到,则会查询 Block Cache,如果内存中都没有的话,则会按层级查找底层的 SST 文件,并将返回的结果所在的 Data Block 加载到 BlockCache,返回给上层应用。
zeekling
2023-01-02
1.4K
0
Flink资源调优
大数据
flink
jvm
Flink 使用内存 = 框架堆内和堆外内存 + Task堆内和堆外内存 + 网络缓冲内存 + 管理内存。
zeekling
2023-01-01
369
0
使用Docker快速搭建Kerberos环境
kerberos
大数据
容器镜像服务
mapreduce
Kerberos认证在大数据场景下用的比较多,特别是在Hadoop生态下,认证基本用的都是Kerberos认证。一般来讲Kerberos认证相对于其他方式的认证安全很多,同样的认证的时候性能应该差一点。
zeekling
2022-08-26
1.4K
0
自定义Data Sink
flink
大数据
云数据库 SQL Server
kafka
java
上一篇文章介绍了 Flink Data Sink,也介绍了 Flink 自带的 Sink,那么如何自定义自己的 Sink 呢?这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。
zeekling
2022-06-17
288
0
Flink 写入数据到 Kafka
kafka
flink
大数据
通过Flink官网可以看到Flink里面就默认支持了不少sink,比如也支持Kafka sink connector(FlinkKafkaProducer),那么这篇文章我们就来看看如何将数据写入到Kafka。
zeekling
2022-06-17
1.8K
0
flink 简单入门
flink
大数据
java
http
安装 查看java 版本,我的版本是java 8 下载flink,下载地址https://flink.apache.org/downloads.html 下载完了之后,解压并且执行: ./start-
zeekling
2022-06-17
261
0
Flink 配置文件详解
flink
大数据
sql
flink 的安装参照:flink 简单入门, 我们来了解下flink的配置文件。
zeekling
2022-06-17
1.6K
0
Data Sink 介绍
flink
大数据
kafka
nosql
Elasticsearch Service
如上图,Source 就是数据的来源,中间的 Compute 其实就是 Flink 干的事情,可以做一系列的操作,操作完后就把计算后的数据结果 Sink 到某个地方。(可以是 MySQL、ElasticSearch、Kafka、Cassandra 等)。这里我说下自己目前做告警这块就是把 Compute 计算后的结果 Sink 直接告警出来了(发送告警消息到钉钉群、邮件、短信等),这个 sink 的意思也不一定非得说成要把数据存储到某个地方去。其实官网用的 Connector 来形容要去的地方更合适,这个 Connector 可以有 MySQL、ElasticSearch、Kafka、Cassandra RabbitMQ 等。
zeekling
2022-06-17
1.1K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档