同时新增了一个kafka topic，如何在不重启作业的情况下作业自动感知新的topic。...该情况下如何在不重启作业情况下动态感知新扩容的partition？...针对场景二，设置前面的动态发现参数，在定期获取kafka最新meta信息时会匹配新的partition。为了保证数据的正确性，新发现的partition从最早的位置开始读取。 ?...此时在一个source读取多个partition，并且partition之间数据时戳有一定差距的情况下，因为在source端watermark在partition级别有对齐，不会导致数据读取较慢partition...Q&A (1)在flink consumer的并行度的设置：是对应topic的partitions个数吗？要是有多个主题数据源，并行度是设置成总体的partitions数吗？
该部分包括两个方面，第一个方面，主要介绍快手在 Flink Kafka Connector 方面做的一些高可用，是基于内部的双机房读或双机房写和一些容错的策略。...在公司内部比较重要的数据写 Kafka 时，Kafka 层面为保障高可用一般都会创建双集群的 topic。双集群的 topic 共同承担全部流量，如果单集群发生故障，上游自动分流。...Kafka 层面通过这种方式做到双集群的高可用。但是 Flink 任务在消费双集群 topic 时，本身是不能做到高可用的。...我们优化后，Source task 启动，可以获取集群信息，动态重新获取 Kafka brokerlist，避免频繁重启。 ? 第二部分是 Flink 任务的故障恢复优化，分为两个过程。...我们发现，线上启动一个任务的时候，基本上在分钟级别，耗时比较长。如果有一些任务需要升级，比如说，改了一些简单的逻辑，需要将原来的任务停掉，然后再去重新启动一个新的任务，这种场景可能就会更慢。
所以在提交 Job 时候需要注意， job 代码 jar 包中一定要将相应的 connetor 相关类打包进去，否则在提交作业时就会失败，提示找不到相应的类，或初始化某些类异常。...kafka topic，如何在不重启作业的情况下作业自动感知新的 topic。...该情况下如何在不重启作业情况下动态感知新扩容的 partition？...l针对场景一，还需在构建 FlinkKafkaConsumer 时，topic 的描述可以传一个正则表达式描述的 pattern。...每次获取最新 kafka meta 时获取正则匹配的最新 topic 列表。 l针对场景二，设置前面的动态发现参数，在定期获取 kafka 最新 meta 信息时会匹配新的 partition。
所以在提交 Job 时候需要注意， job 代码 jar 包中一定要将相应的connetor 相关类打包进去，否则在提交作业时就会失败，提示找不到相应的类，或初始化某些类异常。...，同时新增了一个 kafka topic，如何在不重启作业的情况下作业自动感知新的 topic。...该情况下如何在不重启作业情况下动态感知新扩容的 partition？...针对场景一，还需在构建 FlinkKafkaConsumer 时，topic 的描述可以传一个正则表达式描述的 pattern。...每次获取最新 kafka meta 时获取正则匹配的最新 topic 列表。 针对场景二，设置前面的动态发现参数，在定期获取 kafka 最新 meta 信息时会匹配新的partition。
我在之前的文章中已经详细的介绍过Flink CDC的原理和实践了。 如果你对Flink CDC 还没有什么概念，可以参考这里：Flink CDC 原理及生产实践。...在实际生产中相信已经有很多小伙伴尝试过了，我在这里将一些个人遇到的、搜索到的、官方博客中总结的以及在Flink的邮件组中的看到过的一些常见问题进行了总结。供大家参考。...作业在扫描 MySQL 全量数据时，checkpoint 超时，出现作业 failover，如下图： ?...解决办法：在 flink-conf.yaml 配置 failed checkpoint 容忍次数，以及失败重启策略，如下： execution.checkpointing.interval: 10min...多个作业共用同一张 source table 时，没有修改 server id 导致读取出来的数据有丢失。
前言： 在默认情况下，当 Docker 守护进程终止时，它将关闭正在运行的容器。不过，我们可以配置该守护进程，以便在该守护进程不可用时容器仍在运行。这种功能称为实时恢复。...在 Linux 上，默认的配置文件为/etc/docker/daemon.json vim /etc/docker/daemon.json { "live-restore": true } 2.Docker...$(pidof dockerd) 3.检查上面的配置是否成功 docker info ｜ grep -i live 4.重启Docker，此时重启Docker时就容器就不会停止了 systemctl...Docker后，上面在运行的两个容器的运行时间分别为1小时、32分钟，容器并没有在我们重启Docker时停止，而是一直保持运行状态 。...以后不用再担心处理问题时必须重启 dockerd 时会影响现有业务了，如升级 docker 版本、dockerd 内存泄漏等！
01 引言 Flink 提供了 Apache Kafka 连接器使用精确一次（Exactly-once）的语义在 Kafka topic 中读取和写入数据。...定义 Kafka Source 检查新分区的时间间隔 （3）register.consumer.metrics 指定是否在 Flink 中注册 Kafka Consumer 的指标 （4）commit.offsets.on.checkpoint...Flink 作业的情况下处理 Topic 扩容或新建 Topic 等场景，将 Kafka Source 配置为在提供的 Topic / Partition 订阅模式下定期检查新分区。...(), "Kafka Source With Custom Watermark Strategy"); 11 消费位点提交 Kafka source 在 checkpoint 完成时提交当前的消费位点...消息会在从 Kafka 拉取下来后在分片读取器中立刻被解析。分片的状态 即当前的消息消费进度会在 KafkaRecordEmitter 中更新，同时会在数据发送至下游时指定事件时间。
两个重要接口 Flink 保证全局数据一致性是通过全局状态快照checkpoint 完成的， 也就是周期性的执行checkpoint 将当前的任务状态保存起来， Flink 在整个checkpoint...具体实现 对于Flink 来说source端的标准对接接口是SourceFunction ，主要实现其run方法，在run 中执行数据的pull操作；另外为了保证整个状态的一致性，在checkpoint...时需要记录checkpoint时的offset, 并且保证其失败重启时也能够从checkpoint 记录的offset开始消费， 因此同时实现了CheckpointedFunction接口与CheckpointListener...，会按照指定的时间间隔检查是否有新的分区(默认情况下不开启)， 当发现有新的分区时会将其添加到unassignedPartitionsQueue中， 以便被KafkaConsumerThread 线程检测到...：checkpoint 执行完成时回调notifyCheckpointComplete方法，offset 提交到kafka中 对于第一阶段失败任务直接重启，从最近一次checkpoint记录的位点开始消费
① 设定重启策略 Flink支持不同的重启策略，以在故障发生时控制作业如何重启。集群在启动时会伴随一个默认的重启策略，在没有定义具体重启策略时会使用该默认策略。...如果在工作提交时指定了一个重启策略，该策略会覆盖集群的默认策略。 默认的重启策略可以通过 Flink 的配置文件 flink-conf.yaml 指定。...配置参数 restart-strategy 定义了哪个策略被使用。 常用的重启策略： 固定间隔(Fixed delay)； 失败率(Failure rate)； 无重启(No restart)。...但尝试后发现在做那些日志数据量大的关联查询时往往只能在较小的时间窗口内做查询，否则会超过datanode节点单台内存限制，产生异常。但为了满足不同业务日志延迟到达的情况，这种实现方式并不通用。...1、Source抽象 对于Source进行抽象，创建抽象类及对应接口，对于Flink Connector中已有的实现，例如kafka,Elasticsearch等，直接创建新class并继承接口，实现对应的方法即可
在上一篇文章「checkpoint【1】」中，我们讨论过在2PC过程的每个阶段出现故障时Flink的处理方式： Phase 1: Pre-commit 预提交阶段 Flink 的 JobManager...这种策略就可以解决因为网络异常，各算子一致阻塞等待JobManager的第二阶段的commit/abort通知。但是，一般情况下我们并不会对Flink进行这种级别的二次开发。...如果commit失败了（比如网络中断引起的故障），整个flink程序也因此失败，它会根据用户的重启策略重启，可能还会有一个尝试性的提交。这个过程非常严苛，因为如果提交没有最终生效，会导致数据丢失。...Kafka SQL/Table UML 官方给出的自定义Flink SQL/Table Source/Sink的UML关系图如下， Kafka SQL/Table的核心类有： KafkaDynamicTableFactory...测试时，很疑惑一个问题：上游Flink SQL Sink到Kafka某个topic，然后在console中实时消费这个topic的数据，在程序中明明设置了exactly-once，为什么console中会实时消费数据
Flink的重启策略 Flink支持不同的重启策略，这些重启策略控制着job失败后如何重启。...在连续的两次重启尝试之间，重启策略会等待一个固定的时间。...Flink的重启策略了解吗 Flink支持不同的重启策略，这些重启策略控制着job失败后如何重启： 固定延迟重启策略 固定延迟重启策略会尝试一个给定的次数来重启Job，如果超过了最大的重启次数，Job最终将失败...在连续的两次重启尝试之间，重启策略会等待一个固定的时间。 失败率重启策略 失败率重启策略在Job失败后会重启，但是超过失败率后，Job会最终被认定失败。...在两个连续的重启尝试之间，重启策略会等待一个固定的时间。 无重启策略 Job直接失败，不会尝试进行重启。 9.
承诺给Kafka的抵消只是为了使外部的进展观与Flink对进展的看法同步。 这样，监控和其他工作可以了解Flink Kafka消费者在多大程度上消耗了一个主题。...请注意，当作业从故障中自动恢复或使用保存点手动恢复时，这些起始位置配置方法不会影响起始位置。在恢复时，每个Kafka分区的起始位置由存储在保存点或检查点中的偏移量确定。...这有两个含义： 首先，在Flink应用程序的正常工作期间，用户可以预期Kafka主题中生成的记录的可见性会延迟，等于已完成检查点之间的平均时间。...其次，在Flink应用程序失败的情况下，读者将阻止此应用程序编写的主题，直到应用程序重新启动或配置的事务超时时间过去为止。此注释仅适用于有多个代理/应用程序写入同一Kafka主题的情况。...如果作业失败，Flink会将流式程序恢复到最新检查点的状态，并从存储在检查点中的偏移量开始重新使用来自Kafka的记录。 因此，绘制检查点的间隔定义了程序在发生故障时最多可以返回多少。
3.4 Kafka 1.0.0 Connector 从Flink 1.7开始，有一个新的通用Kafka连接器，它不跟踪特定的Kafka主要版本。 相反，它在Flink发布时跟踪最新版本的Kafka。...承诺给Kafka的抵消只是为了使外部的进展观与Flink对进展的看法同步。 这样，监控和其他工作可以了解Flink Kafka消费者在多大程度上消耗了一个主题。...请注意，当作业从故障中自动恢复或使用保存点手动恢复时，这些起始位置配置方法不会影响起始位置。在恢复时，每个Kafka分区的起始位置由存储在保存点或检查点中的偏移量确定。...其次，在Flink应用程序失败的情况下，读者将阻止此应用程序编写的主题，直到应用程序重新启动或配置的事务超时时间过去为止。此注释仅适用于有多个代理/应用程序写入同一Kafka主题的情况。...如果作业失败，Flink会将流式程序恢复到最新检查点的状态，并从存储在检查点中的偏移量开始重新使用来自Kafka的记录。 因此，绘制检查点的间隔定义了程序在发生故障时最多可以返回多少。
有鉴于此，Flink 社区提出了 FLIP-27 的改进计划，并在 Flink 1.12 实现了基础框架，在 Flink 1.13 中 kafka、hive 和 file source 已移植到新架构，...状态哈希表中的状态在 checkpoint 时持久化到状态存储。 Source 新架构具有以下特点。 数据分片与数据读取分离。...KafkaSource 采用了多分片多路复用模式，SplitEnumerator 把启动时读取的 partition 列表和定期监测时发现的新的 partition 列表批量分配给 SourceReader...在 Flink 配置 conf/flink-conf.yaml 添加状态存储配置，设置 checkpoint 和 savepoint 目录，checkpoint 时间间隔，以及 Flink 重启策略。...总结 本文首先介绍了 Flink Source Connector 开发时基于传统的 SourceFunction 方式的不足，接着介绍了 FLIP-27 的 Source 新架构特点及其优势，然后基于新架构从零开发了一个简单的
戳更多文章： 1-Flink入门 2-本地环境搭建&构建第一个Flink应用 3-DataSet API 4-DataSteam API 5-集群部署 6-分布式缓存 7-重启策略 8-Flink中的窗口...9-Flink中的Time 1简介 Flink-kafka-connector用来做什么？...Kafka中的partition机制和Flink的并行度机制结合，实现数据恢复 Kafka可以作为Flink的source和sink 任务失败，通过设置kafka的offset来恢复应用 2Kafka...3.主题（Topic） 主题是Kafka中一个极为重要的概念。首先，主题是一个逻辑上的概念，它用于从逻辑上来归类与存储消息本身。...当job失败重启的时候，Flink会从最近一次的checkpoint中进行恢复数据，重新消费kafka中的数据。
Yarn-cluste D. standalone 5.fink实现的重启策略包括() A故障率重启策略( Failure Rate Restart Strategy) B.固定延迟重启策略( Fixed...需要注意的优先级：算子层面>环境层面>客户端层面>系统层面。 5 Flink 支持哪几种重启策略？分别如何配置？...重启策略种类： 固定延迟重启策略（Fixed Delay Restart Strategy） 故障率重启策略（Failure Rate Restart Strategy） 无重启策略（No Restart...Strategy） Fallback 重启策略（Fallback Restart Strategy） 6 Flink 的分布式缓存有什么作用？...13 Flink 在使用 Window 时出现数据倾斜，你有什么解决办法？ 注意：这里 window 产生的数据倾斜指的是不同的窗口内积攒的数据量不同，主要是由源头 数据的产生速度导致的差异。
Yarn-cluste D. standalone BC 5.fink实现的重启策略包括() A故障率重启策略( Failure Rate Restart Strategy) B.固定延迟重启策略...需要注意的优先级：算子层面>环境层面>客户端层面>系统层面。 5 Flink 支持哪几种重启策略？分别如何配置？...重启策略种类： 固定延迟重启策略（Fixed Delay Restart Strategy） 故障率重启策略（Failure Rate Restart Strategy） 无重启策略（No Restart...Strategy） Fallback 重启策略（Fallback Restart Strategy） 6 Flink 的分布式缓存有什么作用？...13 Flink 在使用 Window 时出现数据倾斜，你有什么解决办法？ 注意：这里 window 产生的数据倾斜指的是不同的窗口内积攒的数据量不同，主要是由源头 数据的产生速度导致的差异。
当这种作业在恢复时，只有受影响的故障区的 task 需要重启。对于其他类型的流作业，故障恢复行为与之前的版本一样。 4.2....partitions/splits/shards 概念在接口中没有显式表达，比如 split 的发现逻辑和数据消费都耦合在 source function 的实现中，这样在实现 Kafka 或 Kinesis...，解耦 split 发现和对应的消费处理，同时方便随意组合不同的策略。...比如现有的 Kafka connector 中有多种不同的 partition 发现策略和实现耦合在一起，在新的架构下，我们只需要实现一种 source reader，就可以适配多种 split enumerator...的实现来对应不同的 partition 发现策略。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
