首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何在kerberos密码更改的情况下实现长时间运行的Flink作业?

要在kerberos密码更改的情况下实现长时间运行的Flink作业,可以采取以下步骤:

  1. 确保Kerberos服务正常运行,并且已经正确配置了Flink作业的安全认证。
  2. 设置Flink作业的Kerberos Keytab文件路径和Principal名称,用于验证和更新Kerberos票据。
  3. 使用Flink的Kerberos登录插件,确保作业在提交时能够成功进行Kerberos身份验证。
  4. 创建一个Flink作业,该作业会定期检查Kerberos票据的过期时间,并在过期之前自动更新票据。
  5. 使用Flink的定时任务机制,例如Flink的RichCoFlatMapFunction,定期检查票据的过期时间。
  6. 当票据过期时,使用Flink的UserGroupInformation类来更新Kerberos票据。
  7. 在Flink作业中使用适当的检查点和故障恢复策略,以确保长时间运行的作业可以在故障发生时进行恢复。
  8. 针对长时间运行的作业,建议使用Flink的保存点(Savepoint)功能,以便在作业重新启动时能够从保存点恢复。

以上是一个高层次的步骤概述,下面将对其中涉及的名词、技术和推荐腾讯云产品进行详细解释。

  1. Kerberos:Kerberos是一种网络身份验证协议,用于在计算机网络上实现安全的身份验证。Kerberos可以提供强大的安全性和身份验证功能,确保只有经过身份验证的用户可以访问受保护的资源。
  2. Flink:Apache Flink是一个分布式流处理和批处理框架,可用于实时数据处理和数据分析。Flink提供了高吞吐量、低延迟的数据处理能力,支持事件时间和处理时间的窗口计算,并提供故障恢复和保存点功能。
  3. Kerberos Keytab:Kerberos Keytab是一个文件,包含了用于Kerberos身份验证的密钥信息。Keytab文件通常与Principal名称一起使用,用于生成和验证Kerberos票据。
  4. Principal名称:Principal名称是一个标识符,用于唯一标识Kerberos中的用户或服务。Principal名称通常采用"service/hostname@REALM"的格式。
  5. Kerberos登录插件:Kerberos登录插件是Flink提供的一种身份验证机制,用于在作业提交时进行Kerberos身份验证。通过配置Kerberos Keytab文件路径和Principal名称,插件可以自动进行Kerberos登录。
  6. 定时任务机制:Flink提供了定时任务机制,可用于在作业运行期间执行定期的任务。通过定时任务机制,可以定期检查Kerberos票据的过期时间,并在过期之前自动更新票据。
  7. UserGroupInformation:UserGroupInformation是Hadoop提供的一个类,用于管理用户的身份验证和权限控制。在Flink作业中,可以使用UserGroupInformation类来更新Kerberos票据。
  8. 检查点和故障恢复策略:Flink提供了检查点和故障恢复策略,用于保证作业在发生故障时能够进行恢复。通过配置适当的检查点和故障恢复策略,可以确保长时间运行的作业能够在故障发生时进行恢复,而不丢失数据。

推荐腾讯云产品:

  • 腾讯云CVM(云服务器):提供可靠的计算资源,用于运行Flink作业。
  • 腾讯云CKafka(云原生消息队列 CKafka):提供高可靠、低延迟的消息队列服务,适用于Flink作业处理实时数据流。
  • 腾讯云COS(对象存储 COS):提供高可扩展性、低成本的云存储服务,适用于存储Flink作业的输入和输出数据。
  • 腾讯云CDB(云数据库 MySQL):提供高可用性、可扩展性的关系型数据库服务,适用于存储Flink作业的中间结果或状态信息。

以上是一个基本的答案,提供了关于如何在kerberos密码更改的情况下实现长时间运行的Flink作业的步骤和相关技术概念。请注意,所提供的腾讯云产品仅为示例,可能并非最佳选择,具体的产品选择应根据实际需求和情况来确定。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Kerberos 身份验证在 ChunJun 中落地实践

02 Kerberos 解决了什么问题 目前用于身份密码验证主要面临两个问题:首先是人工记忆密码混乱且易遗忘,一些比较简单密码又容易被攻击;其次是技术错觉,在计算机上输入密码时显示是一串星号,...同时这种体系架构定义接口无需修改代码即可实现加入多种认证技术和授权机制,因为 JAAS API 定义了应用程序代码与实际验证逻辑之间抽象,这个抽象不用重新编译现有的应用程序代码就可以作为登录模块运行时替代...这种实现方式是通过应用程序只调用 LoginContext 接口,而认证技术实际提供程序则是基于 LoginModule 接口进行开发,在运行时 LoginContext 通过读取配置文件确定使用哪些认证模块来对应用程序进行认证...对于每个算子实例来说,Kerberos 认证只会进行一次(不包括认证过期后刷新),因此 Kerberos 认证代码应该在该方法中实现....服务器主机名在上一次导入后随后更改了。

1.5K30

0880-7.1.7-如何在CDP中使用Prometheus&Grafana对Flink任务进行监控和告警

认证 2.MetricReportersia Tesla T4 2.1Metrics介绍 由于实时任务运行后很难发现内部实际状况,跑得慢或快,是否异常等,开发人员无法实时查看所有的 Task 日志,比如作业很大或者有很多作业情况下...Prometheus在正常情况下是采用拉模式从产生metric作业或者exporter(比如专门监控主机NodeExporter)拉取监控数据。...这里有一个问题就是,这些模版开发时间都比较早,随着flink版本迭代,有一些指标名称进行过更改,对于没有图表显示需要自行查找指标,并进行修改。...配置告警 这里主要是条件配置,在什么情况下进行告警。 还有更多一些指标任务重启、网络延迟、任务反压等重要指标,这里不再过多写了。...5.4一些收费第三方监控运维平台,睿象云可以直接接入Grafana实现电话、短信告警 关于Prometheus+Grafana告警这块内容,各路大神都研究测试非常透彻,合理利用搜索引擎即可。

1.7K10

0845-7.1.6-集群外配置Kerberos环境Gateway节点

作者:冯庆煜 1.文档编写目的 在使用CDH/CDP集群过程中会遇到在集群外节点使用Hadoop命令访问集群(:HDFS、HBASE、HIVE、SPARK、YARN)等命令操作,这时又不想将该节点添加到...CDH/CDP集群中管理,本篇文章主要介绍如何在集群外节点不通过CM部署一个Gateway节点。...2.4.44-20.el_7 1.1.前置条件 集群运行正常且Kerberos已安装且正常使用 IP地址 HostName 操作系统 192.168.0.76 cdh1.macro.com redhat...2.2Java和CDH和FLINK 登录集群任意节点,将集群Java目录拷贝至(hadoop11.macro.com)节点/usr/java/目录下 scp -r /usr/java/jdk1.8.0...3.kerberos客户端 集群启用了Kerberos,所以需要在(hadoop11.macro.com)节点安装Kerberos客户端,执行如下命令 yum -y install krb5-libs

93520

0890-7.1.6-如何在CDP集群配置Kerberos高可用

1.文档编写目的 本篇文章主要介绍如何在CDP 7.1.6集群中配置Kerberos高可用。...the above steps并继续 3.设置主机为挂掉节点并继续 4.输入Kerberos管理员账号和密码并继续 5.导入凭据正常并且集群各组件正常运行 在服务挂掉节点进行生成Keytab...操作,但是在主节点命令行无法进行生成Keytab操作,只能在备节点命令行进行生成Keytab操作 2.在集群中配置了kerberos高可用后,kdc和kadmin服务宕掉一个之后,不会影响到集群作业运行...(正在运行作业或者是新提交作业都不受影响) 3.在集群中配置了kerberos高可用后,在宕掉主节点kdc和kadmin服务后,对CM集群中进行生成Keytab操作,集群组件运行无异常 4.在集群中配置了...kerberos高可用后,宕掉主节点kdc服务长时间不会发生异常问题

1K40

Flink从1.7到1.12版本升级汇总

状态变化 在许多情况下,由于需求变化,长期运行 Flink 应用程序会在其生命周期内发生变化。在不丢失当前应用程序进度状态情况下更改用户状态是应用程序变化关键要求。...Flink 1.7.0 版本中社区添加了状态变化,允许我们灵活地调整长时间运行应用程序用户状态模式,同时保持与先前保存点兼容。通过状态变化,我们可以在状态模式中添加或删除列。...,所有作业都共享这个集群资源运行。...实际生产环境中,用户经常遭遇 checkpoint 超时失败、长时间不能完成带来困扰。一旦作业 failover 会造成回放大量历史数据,作业长时间没有进度,端到端延迟增加。...为了优化在有限流情况下运行执行性能,新 BATCH 执行模式,对于聚合操作,全部在内存中进行,且使用 sort-based shuffle(FLIP-140)和优化过调度策略(请参见 Pipelined

2.5K20

0911-7.1.7-如何在CDP集群使用Flink SQL Client并与Hive集成

1 文档概述 在前面Fayson介绍了《0876-7.1.7-如何在CDP中部署Flink1.14》,同时Flink也提供了SQL Client能力,可以通过一种简单方式来编写、调试和提交程序到Flink...集群未启用Kerberos 2 与Hive集成说明及依赖准备 1.Flink支持Hive版本如下: 注意:Hive不同版本与Flink集成有不同功能差异,是Hive本身支持问题,目前CDP中Hive...异常处理 1.在命令行运行Flinkwordcount示例时,当作业运行结束后有如下异常日志输出 Exception in thread "Thread-5" java.lang.IllegalStateException...6.在SQL Client下运行Flink作业只支持Per-Job Mode不支持Session Mode模式。...7.通过Flink SQL向表中插入数据后,生成Flink作业无法自动结束,一直处于运行状态,实际数据已写入表中。

40410

CSA安装部署

Flink和SSB默认端口 下表列出了Flink和SSB默认端口和相应属性文件名。默认情况下,端口是在Cloudera Manager中设置。您可以使用配置属性根据需要更改端口。...查看服务所需更改。 ? 笔记 您可以将此页面留空,因为设置是自动配置。您以后可以在Flink>配置>安全性中更改安全性设置。 单击继续,等待直到Flink服务第一次运行完成。 ?...设置您HDFS主目录 您需要一个HDFS主目录来存储应用程序临时日志和数据,以运行Flink作业。您必须为用户设置HDFS主目录,以避免在使用Flink时出错。...要运行Flink作业,您HDFS主目录必须存在。...该环境没有启用Kerberos,因此使用上面的禁用Kerberos命令来设置目录。

1.1K10

用 Apache NiFi、Kafka和 Flink SQL 做股票智能分析

准备 Flink SQL 客户端运行 Flink SQL 客户端配置 一旦我们自动化管理员构建了我们云环境并用我们应用程序优点填充它,我们就可以开始我们持续执行 SQL。...所以在这种情况下,CFM NiFi 是我们生产者,我们将拥有 CFM NiFi 和 CSA Flink SQL 作为 Kafka 消费者。...运行 Flink SQL 客户端 这是一个两步过程,首先设置一个纱线会话。您可能需要添加Kerberos凭据。...作业 使用 CSA Flink Global Dashboard,我可以看到我所有的 Flink 作业正在运行,包括 SQL 客户端作业、断开连接 Flink SQL 插入和部署 Flink 应用程序...我们还可以看到在股票警报 Topic 中热门数据。我们可以针对这些数据运行 Flink SQL、Spark 3、NiFi 或其他应用程序来处理警报。

3.5K30

Flink优化器与源码解析系列--Flink相关基本概念

Flink Job Flink作业 Flink作业Flink程序运行时表示形式。...Flink作业既可以提交到长期运行Flink会话集群,也可以作为独立Flink应用程序集群启动。...Flink Session Cluster Flink会话集群 长期运行Flink群集,它接受多个Flink作业来执行。此Flink群集生命周期与每个Flink作业生命周期有关。...State Backend 后端状态 对于流处理程序,Flink作业后端状态确定如何在每个TaskManager(TaskManagerJava堆或(嵌入式)RocksDB)上存储其状态...具体而言,大多数转换是由某些操作符或算子Operators实现 总结 本篇文章介绍Flink相关基本概念,其是学习Flink开始,更深入理解Flink分布式运行原理和内存模型构成,如何调优内存和故障排除等问题

78820

Kerberos相关问题进行故障排除| 常见错误和解决方法

密码与存储在KDC中密码不匹配时,会发生此错误。...发生这种情况原因有多种,例如使用了一个旧keytab进行初始化(此后更改密码或重新生成了Principal,则该密码已在数据库中更改过,用户密码已在数据库中更改过),等等。经常会出现此错误。...Token has expired at org.apache.hadoop.hbase.security.HBaseSaslRpcClient.readStatus 如果发生此异常,则抛出 作业运行时间超过...“ hbase.auth.token.max.lifetime”(Region Server配置,默认情况下为7天),并且 一个长时间运行作业进程不必要地获取HBase身份验证令牌,通过keytab...AES 128位加密 和此帐户支持Kerberos AES 256位加密 ”,或更改群集上Kerberos配置。

42.3K34

Kerberos基本概念及原理汇总

完成此操作后,这些用户可以访问资源(例如文件或目录)或与集群交互(运行MapReduce作业)。...给定领域中主体名称由主名称和实例名称组成,在这种情况下,实例名称是运行该服务主机FQDN。...每个主要名称都附加了实例名称,即运行主机FQDN。此约定为在多个主机(DataNodes和NodeManager)上运行服务提供唯一主体名称。...keytab文件对于每个host是唯一,因为key中包含hostname。keytab文件用于不需要人工交互和保存纯文本密码实现kerberos上验证一个主机上principal。...时钟同步 所有参与 Kerberos 验证系统主机都必须在指定长时间(称为时钟相位差)内同步其内部时钟。针对这一要求,需要进行另一种 Kerberos 安全检查。

11.9K20

Dlink 实时计算平台——部署篇

表单提交时可能需要较长时间等待,因为那时 dlink 正在努力计算当前活跃 JobManager 地址。...状态异常时,请检查被注册 Flink 集群地址是否能正常访问,默认端口号为8081,可能更改配置后发生了变化,查看位置为 Flink Web JobManager Configuration...Sql Studio 进入开发页面: 在中央脚本编辑器中粘贴 Flink Sql,左边作业配置 Flink 集群选中上文注册测试集群,执行配置勾选远程执行,最后点击右上方三角形开始按钮来执行语句...此外,在 dlink-connector-jdbc.jar 中实现了基于 flink-connector-jdbc Oracle 和 ClickHouse 连接器,在引入flink-connector-jdbc...七、更多精彩 本文简简单单地带来了 dlink 初次部署与体验具体步骤,此外它还具备大量新特性与功能来辅助 Flink Sql 开发与运维,作业管理、共享会话、血缘分析、函数文档、数据源管理、元数据中心以及

2.6K20

使用 Replication Manager 迁移到CDP 私有云基础

运行频率超过 8 小时一次复制策略支持最大文件数:1000 万。 复制作业吞吐量取决于源集群和目标集群绝对读写吞吐量。 需要定期重新平衡您 HDFS 集群,以实现高效复制操作。...输入应保存源文件目标路径。 选择一个时间表: 在用户名运行字段中输入运行复制作业用户。默认情况下,这是hdfs. 如果要以其他用户身份运行作业,请在此处输入用户名。...Note 如果您复制作业需要很长时间才能完成,并且在复制完成之前文件已更改,则复制可能会失败。...要指定应该运行 MapReduce 作业用户,请使用Run As Username选项。默认情况下,MapReduce 作业作为hdfs....在搜索字段中键入Trusted Kerberos以查找Trusted Kerberos Realms 属性。 单击加号图标,然后输入源 集群领域。 输入更改原因,然后单击保存更改以提交更改

1.8K10

大数据云原生系列| 微信 Flink on Kubernetes 实战总结

根据已有的 Flink 作业运行情况,我们发现绝大多数 Flink 作业主要是耗费内存,而CPU利用率普遍较低,在机型选择上我们推荐选择内存型机器。...,我们可以做批调度,即 Gang Schedule,可以避免资源有限情况下作业之间互相等待资源 hold 住情况(例如大作业先提交,部分 TaskManager 长时间处于资源等待状态,小作业后提交...与微信后台服务打通 云原生架构下资源类型 Demonsets,简化架构转型复杂度 用户 Flink 作业经常需要在运行过程中与微信后台服务进行交互,在传统裸机上访问微信后台服务需要机器部署 Agent...默认情况下Flink on Kubernetes 部署作业,其在 Docker Container 中运行进程都是前台运行,使用 log4j-console.properties配置,日志会直接打到控制台...我们基于SQL分析平台元数据管理体系,构建 Flink SQL 能力,用户可以在SQL分析平台上注册/管理库表元数据,为了架构简单,我们并没有去实现自己 Flink Catalog(元数据操作直接在

1.9K21

将数据迁移到CDP 私有云基础数据迁移用例

名为hdfs 用户- 默认情况下,不允许hdfs用户运行 YARN 作业。您必须启用hdfs用户才能在两个集群上运行 YARN 作业。...HDFS 超级用户帐户情况下在 HDP 集群上运行 YARN 作业。...在 HDP 集群上运行 DistCp 作业 启用hdfs用户在 HDP 集群上运行 YARN 作业并在CDP 私有云基础 集群上进行所需配置更改后,您可以运行 DistCp 作业将 HDFS 数据从安全...名为hdfs 用户- 默认情况下,不允许hdfs用户运行 YARN 作业。您必须启用hdfs用户才能在两个集群上运行 YARN 作业。...在 CDP 私有云基础集群上运行 DistCp 作业 在 HDP 集群和 CDP 私有云基础集群中进行所需配置更改并配置用户以在这两个集群上运行 YARN 作业后,您可以运行 Hadoop DistCp

1.5K20

4.如何为Hive集成RedHat7OpenLDAP认证

RedHat7上安装OpenLDA并配置客户端》、《2.如何在RedHat7中实现OpenLDAP集成SSH登录并使用sssd同步用户》以及《3.如何RedHat7上实现OpenLDAP主主同步》,在...这里我们将172.31.24.169做为OpenLDAP主节点,172.31.16.68做为OpenLDAP备节点,具体RedHat7下OpenLDAPHA实现可以参考《3.如何RedHat7上实现...等作业,因为Fayson环境已经启用了SSSD,可以自动同步用户,所以可以省略该步骤。...使用HiveCli命令可以绕过OpenLDAP认证,未确保Hive访问安全,这里我们可以禁用HiveCLI,具体禁用可以参考Fayson前面讲《如何在CDH启用Kerberos情况下安装及使用Sentry...(一)》和《如何在CDH启用Kerberos情况下安装及使用Sentry(二)》。

2K80

深入研究Apache Flink可缩放状态

为了实现可伸缩性,Flink作业在逻辑上分解为operators图,每个operators执行在物理上分解为多个并行operator实例。...重新缩放有状态流处理作业 在无状态流中更改并行性(即更改operator执行工作并行子任务数量)非常容易。...请记住,在Flink无共享架构中,所有state都是运行拥有并行operator实例任务本地state,并且在作业运行时并行operator实例之间不进行通信。...接下来,以更改并行度重新启动作业,并可以从分布式存储中访问之前所有状态一致性快照。...这是如何运作呢?key-groups数量必须在作业启动之前确定,并且(目前)在作业启动之后不能更改

1.6K20
领券