腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
皮皮鲁的AI星球
专栏作者
举报
79
文章
175713
阅读量
34
订阅数
订阅专栏
申请加入专栏
全部文章
大数据
编程算法
深度学习
神经网络
机器学习
人工智能
scala
java
python
线性回归
数据处理
打包
unix
网络安全
https
数据库
ide
硬件开发
serverless
spark
processing
tensorflow
c++
linux
mapreduce
文件存储
开源
推荐系统
数据分析
数据结构
kafka
c 语言
sql
git
github
api
apache
批量计算
命令行工具
分布式
缓存
hadoop
numpy
微信
windows
云计算
比特币
NLP 服务
数据挖掘
javascript
css
ajax
typescript
单片机
汇编语言
maven
搜索引擎
ubuntu
centos
GPU 云服务器
日志服务
消息队列 CMQ 版
腾讯云测试服务
图像处理
大数据解决方案
自动化
shell
hive
正则表达式
面向对象编程
pytorch
gcc
数据可视化
fpga
腾讯云开发者社区
信息流
聚类算法
5g
flink
bat
dot
etl
key
nlp
product
scale
创业
团队管理
搜索文章
搜索
搜索
关闭
端到端Exactly-Once是分布式系统最大挑战?Flink是如何解决的?
大数据
数据库
sql
unix
分布式
某条数据投递到某个流处理系统后,该系统对这条数据只处理一次,提供Exactly-Once的保障是一种理想的情况。如果系统不出任何故障,那简直堪称完美。然而现实世界中,系统经常受到各类意外因素的影响而发生故障,比如流量激增、网络抖动、云服务资源分配出现问题等。如果发生了故障,Flink重启作业,读取Checkpoint中的数据,恢复状态,重新执行计算。
PP鲁
2020-02-26
913
0
ProcessFunction:Flink最底层API使用案例详解
编程算法
unix
processing
大数据
之前提到的一些算子和函数能够进行一些时间上的操作,但是不能获取算子当前的Processing Time或者是Watermark时间戳,调用起来简单但功能相对受限。如果想获取数据流中Watermark的时间戳,或者在时间上前后穿梭,需要使用ProcessFunction系列函数,它们是Flink体系中最底层的API,提供了对数据流更细粒度的操作权限。Flink SQL是基于这些函数实现的,一些需要高度个性化的业务场景也需要使用这些函数。
PP鲁
2020-02-17
1.6K
0
Flink窗口全解析:三种时间窗口、窗口处理函数使用及案例
windows
大数据
unix
编程算法
processing
我们经常需要在一个时间窗口维度上对数据进行聚合,窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API,我们可以将数据流切分成一个个窗口,对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。
PP鲁
2020-02-17
5.8K
0
Flink时间语义、Event Time和Watermark机制深度解析
unix
大数据
编程算法
processing
在流处理中,时间是一个非常核心的概念,是整个系统的基石。比如,我们经常会遇到这样的需求:给定一个时间窗口,比如一个小时,统计时间窗口的内数据指标。那如何界定哪些数据将进入这个窗口呢?在窗口的定义之前,首先需要确定一个应用使用什么样的时间语义。
PP鲁
2020-01-14
2.8K
0
为什么说当代大学研究生即使是文科都要懂点Linux?(附学习资料)
ubuntu
linux
centos
windows
unix
在操作系统领域,Windows可谓是笔记本和台式机上的绝对霸主,iOS和安卓在手机上分庭抗礼,而对于Linux,很多朋友有所耳闻,但了解并不多。今天我将简单介绍一下为什么有志于进一步深造的研究生都要学习一下Linux,Linux的现状以及如何开始入门学习Linux。
PP鲁
2019-12-26
1.1K
0
Flink核心概念:系统架构、时间处理、状态与检查点
unix
api
数据处理
数据库
大数据
上图的Flink示例程序对一个数据流做简单处理,整个过程包括了输入(Source)、转换(Transformation)和输出(Sink)。程序由多个DataStream API组成,这些API,又被称为算子 (Operator),共同组成了逻辑视角。在实际执行过程中,逻辑视角会被计算引擎翻译成可并行的物理视角。
PP鲁
2019-12-25
2.1K
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档