Flink配置，避免每次提交作业时都上传扩展jar
Flink配置是指在使用Apache Flink进行作业提交时，避免每次都需要手动上传扩展jar包的设置。Apache Flink是一个开源的流式处理框架，提供了快速、可扩展且容错的流处理和批处理能力。
在Flink中，可以通过以下几种方式来配置以避免每次提交作业时都上传扩展jar包：
- 本地设置：可以将扩展jar包放置在Flink的lib目录下，这样Flink会自动加载该目录下的所有jar包。这种方式适合于需要全局使用的扩展jar包。
- 作业级别设置：可以在每个作业的代码中指定依赖的jar包。可以通过在代码中添加类似以下代码来实现：
env.registerCachedFile("file:///path/to/your/jar.jar", "your-jar")这样在作业提交时，Flink会将该jar包自动分发到集群中的所有任务节点。
- 集群级别设置：可以在Flink集群的配置文件中进行全局的jar包配置。可以通过修改
flink-conf.yaml文件，添加以下配置项来实现：
env.java.opts: "-classpath /path/to/your/jar.jar"这样配置后，在提交作业时，Flink会自动将该jar包添加到作业的classpath中。
Flink的配置方式可以根据具体的需求选择使用，通过合理的配置可以方便地管理扩展jar包的依赖，避免每次提交作业都需要手动上传扩展jar包。对于Flink的更多配置细节和相关产品介绍，可以参考腾讯云的Flink产品文档：
腾讯云Flink产品介绍：https://cloud.tencent.com/product/flink
腾讯云Flink产品文档：https://cloud.tencent.com/document/product/1298
相关·内容
Flink是否有避免每次提交作业时都上传扩展jars的配置，就像spark-submit中的spark.yarn.archive一样？我知道处理外部jars的方法，比如How to Reference the External Jar in Flink中的答案。例如fat jar、将jar复制到$FLINK/lib、-yt配置<
浏览 78提问于2019-10-14得票数 0
回答已采纳
我已经在AWS ECS中部署了自己的flink设置。一个服务用于JobManager，一个服务用于任务管理器。我正在为作业管理器运行一个ECS任务，为任务经理运行3个ecs任务。我有一种批处理作业，我每天都使用flink rest上传新参数，当我每次提交磁盘内存增加600 S3时，我给出了一个检查点作为S3。因为我在ECS上运行，所以在每次jar上传和执行时都找不到内存增加的原因。
浏览 2提问于2021-03-29得票数 1
我在同一个Flink项目中有多个工作。我想知道，当我向Flink集群提交作业时，我不知道哪个作业正在为这个提交的jar运行。例如：然后，我更改job2，并创建新的jar文件。然后使用新上传的ja
浏览 7提问于2021-04-21得票数 0
0回答
我有一个应用程序，它通过RemoteExecutionEnvironment scala API将Apache Flink作业分派到AWS Elastic MapReduce YARN集群。这些作业使用JNI通过C库运行部分计算。看起来Flink在每次调度作业时都会使用一个新的ClassLoader，而我在计算节点上得到了Native library already loaded in another classloader错误一些谷歌搜索告诉我，这是Tomcat应用程
浏览 2提问于2016-07-08得票数 3
2回答
我们目前正在使用maven-shade-plugin将我们的Flink应用程序部署为一个胖jar。问题是，每个应用程序jar最终大约为130-140MB，每次构建和部署都很痛苦。有没有一种方法可以排除依赖，只需将一个精简的jar部署到集群中，最高可达50 kB？
浏览 5提问于2018-10-03得票数 1
我在K8s中使用Flink。一切正常，但是当jobmanager启动时，我必须手动提交jar。在这种情况下，如果JM关闭，K8s将启动新的pod并重新提交作业。
我说的对吗？有没有人为flink做了这样的docker改变？
浏览 46提问于2018-07-27得票数 0
回答已采纳
我已经实现了一个作业，并将其打包为jar。我已经在独立的Flink上测试过了。但是我的目标是通过Flink的Rest在应用程序模式下继续使用Kubernetes并部署我的应用程序。除了示例之外，我还检查了来自GitHub的Flink源代码，并试图找到一些示例实现或获得一些线索。我想下面这些都和我的案子有关。对于应用程序模式，在提交作业之前是否需要初始化容器以服务Flink Rest服务？如果是的话，是JobManager吗？
对于
浏览 10提问于2022-04-04得票数 0
因此，目前我们正在使用flink 1.12在HA模式的生产。有3名工作经理(1名领导和2名待命人员)。当我把一个罐子上传到一个工作经理上时，不知怎么的，它并没有反映在其他的工作经理身上。有什么方法可以让我实现上传jar到单个作业管理器的行为也会在HA的其他作业经理中得到反映？因此，我面临的问题是，当jar上传到'A‘作业管理器时，但是当发送作业时使用&#
浏览 1提问于2021-12-25得票数 0
apache站点在Apache上启动Python代码的命令如下：
docker run --net=host apachebeam/flink1.9_job_server:latest --flink-master
浏览 6提问于2020-03-01得票数 0
我已经通过curl将一个jar (它是通过word程序生成的)通过HTTP请求上传到Apache Flink web控制台，get显示了上传的jar。当我尝试使用该jar提交作业时，它会抛出以下错误：
由: org.apache.flink.client.program.ProgramInvocationException: JAR文件不存在'/tmp/fli
浏览 2提问于2018-01-17得票数 1
回答已采纳
我有运行在Kubernetes集群上的flink服务器。我有一个job jar，由于产品和第三方的依赖，它是笨重的。我通过jar环境= ExecutionEnvironment.createRemoteEnvironment(host，端口运行它)；优化后的jar大小约为130MB。我希望在不使用jar upload的情况下调用remoteExecution，这样就不会在每次需要执行作业时都进行上载。有没有一种方法可以上传</
浏览 49提问于2019-03-18得票数 0
1回答
我部署了一个作业的纱线集群模式，通过火花提交与我的jar文件。我每次提交“相同的jar文件”时，作业都会进行部署，但每次提交时它都会上传到hadoop。我认为每次上传相同的jar是不必要的。有没有办法上传一次，用罐子做纱线工作？
浏览 4提问于2017-05-15得票数 0
回答已采纳
当我以独立集群模式向Flink提交作业时，我发现每次taskManager都会从jobManager获取jar (即使是同一个jar)，这需要很长时间。我想知道是否可以将这些jars保存在每个工作节点中，这样它们就可以在本地为每次运行自动加载jars。
浏览 49提问于2018-12-18得票数 0
1回答
我正在尝试运行https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/projectsetup/java_api_quickstart.html我使用给定的脚本生成了项目： curl https://flink.apache.org/q/quickstart.sh | bash -s 1.10.0 并使用以下组件构建： mvn clean packa
浏览 17提问于2020-03-31得票数 0
1回答
Flink码头组合自定义库
、、、、
/myLibrary.jar /opt/flink/lib/myLibary.jar在我的库中，我有一个flink映射操作符(称为DeserialisationMapper)，它使用来自Kafka的JSON消息，并根据消息中的标记创建定制的当我为作业导出一个"f
浏览 6提问于2020-11-11得票数 0
我很乐意接受任何关于运行Flink应用程序的建议，因为它看起来有点像雷区。我在这里谈论Linux (Centos 7 dist)，因为我甚至不想分享Windows抛给我的问题。最初，我试着通过maven用lib文件夹存放jars和config文件夹存放属性文件等，这是个灾难，因为它永远找不到任何东西(当通过java - jar启动时)。然后我尝试了maven shade插件来获取一个超级jar (它肯定是一个超级jar)--但是他死了，Flink找不到自己的参数工具依赖项。因此，我们放弃
浏览 0提问于2017-12-11得票数 0
1回答
:比如说flink-processor-0.1SNAPSHOT.jar，将它从提交作业UI上传到JobManager。上传没有问题。作业提交失败。在JobManager中，我看到以下错误。(StreamPlanEnvironment.java:53)
当我使用flink run命令提交相同的作业时，它工作得很好。快速运行/Users/abc/targe
浏览 2提问于2020-06-16得票数 0
我正在使用Flink v1.4.0。...我确保通过IntelliJ编辑运行配置以添加：-Dakka.ask.timeout:600s
但例外情况依然存在，我不知道是什么原因造成的。当我试图通过Flink UI提交相同的作业<
浏览 0提问于2018-04-17得票数 2
回答已采纳
EMR-Flink作业显示错误“超出GC开销限制错误”。EMR群集使用默认EMR角色在VPC内创建。Hadoop和Flink选项是从高级选项中选择的(我尝试了不同版本的Hadoop和Flink) Step方法用于提交带有参数集的自定义jar。在我的本地机器上，我没有遇到任何错误，并且无论读取请求中的数据大小如何，一切都正常。2:我还尝试在创建集群时提供flink配置，例如 taskmanager.heap.mb:13
浏览 44提问于2020-01-21得票数 0
回答已采纳
我将作业提交到运行在Yarn上的星火集群--有时通过相对缓慢的连接提交。为了避免为每个作业上传156 job火花组装文件，我将配置选项spark.yarn.jar设置为HDFS上的文件。但是，这并不能避免上传，而是从HDFS目录获取程序集文件，并将其复制到应用程序目录：
$:~/spark-1.4.0-bin-hadoop2.6$ bin/spark-submit --class MyClass-
浏览 2提问于2015-07-06得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
