首页
学习
活动
专区
工具
TVP
发布

Flink Back Pressure

欢迎您关注《大数据成神之路》 什么是 Back Pressure 如果看到任务的背压警告(如 High 级别),这意味着 生成数据的速度比下游算子消费的的速度快。...Web 显示 在 Flink WebUI 的作业界面中可以看到 Back Pressure 选项页面。 采样中 表示 JobManager 对正在运行的任务触发堆栈跟踪采样。...对比 Spark streaming Spark Streaming 的 back pressure 是从1.5版本以后引入。在之前版本,只能通过限制最大消费速度。...对比来看,Spark Streaming 的 back pressure 比较简单,主要是根据下游任务的执行情况等,来控制 Spark Streaming 上游的速率。...Flink 的 back pressure 机制不通,通过一定时间内 stack traces 采样,监控阻塞的比率来确定背压的。

1.4K20

Flink Back Pressure

什么是 Back Pressure 如果看到任务的背压警告(如 High 级别),这意味着 生成数据的速度比下游算子消费的的速度快。以一个简单的 Source -> Sink 作业为例。...Web 显示 在 Flink WebUI 的作业界面中可以看到 Back Pressure 选项页面。 采样中 表示 JobManager 对正在运行的任务触发堆栈跟踪采样。...对比 Spark streaming Spark Streaming 的 back pressure 是从1.5版本以后引入。在之前版本,只能通过限制最大消费速度。...对比来看,Spark Streaming 的 back pressure 比较简单,主要是根据下游任务的执行情况等,来控制 Spark Streaming 上游的速率。...Flink 的 back pressure 机制不通,通过一定时间内 stack traces 采样,监控阻塞的比率来确定背压的。

72510
您找到你想要的搜索结果了吗?
是的
没有找到

使用PSI(Pressure Stall Information)监控服务器资源

于是,Facebook的工程师 Johannes Weiner 发明了一个新的指标 PSI(Pressure Stall Information),并向内核提交了这个patch。...PSI(Pressure Stall Information) 字面意思就是由于资源(CPU、内存和 IO)压力造成的任务执行停顿。...PSI 接口文件 CPU、内存和 IO 的压力信息导出到了 /proc/pressure/ 目录下对应的文件,你可以使用 cat 命令查询资源的压力统计信息: $ cat /proc/pressure/...例如上面 /proc/pressure/cpu 的输出,avg10=0.03 意思是任务因为CPU资源的不可用,在最近的10秒内,有0.03%的时间停顿等待 CPU。...打开 /proc/pressure/ 目录下资源对应的 PSI 接口文件,写入想要的阈值和时间窗口,然后在打开的文件描述符上使用 select()、poll() 或 epoll() 方法等待通知事件。

24410

Flink Back Pressure(背压)是怎么实现的?有什么绝妙之处?

关键词:Flink 反压 什么是 Back Pressure 如果看到任务的背压警告(如 High 级别),这意味着 生成数据的速度比下游算子消费的的速度快。...Web 显示 在 Flink WebUI 的作业界面中可以看到 Back Pressure 选项页面。 采样中 表示 JobManager 对正在运行的任务触发堆栈跟踪采样。...对比 Spark streaming Spark Streaming 的 back pressure 是从1.5版本以后引入。在之前版本,只能通过限制最大消费速度。...对比来看,Spark Streaming 的 back pressure 比较简单,主要是根据下游任务的执行情况等,来控制 Spark Streaming 上游的速率。...Flink 的 back pressure 机制不通,通过一定时间内 stack traces 采样,监控阻塞的比率来确定背压的。

3.1K20
领券