Flink:包装可执行的非flink jar以在flink集群中运行它
Flink是一个开源的流式处理框架，用于处理大规模的实时数据流。它可以处理包括批处理和流处理在内的各种数据处理任务。Flink提供了高性能、可靠性和容错性，并且具有低延迟和高吞吐量的特点。
Flink的主要特点包括：
- 分布式处理：Flink可以在大规模集群上进行分布式处理，充分利用集群资源，实现高效的数据处理。
- 状态管理：Flink提供了可维护的状态管理机制，可以在处理过程中保存和管理状态，以便进行复杂的数据处理操作。
- 事件时间处理：Flink支持事件时间处理，可以处理乱序事件，并提供了窗口操作和时间语义的支持。
- Exactly-Once语义：Flink可以提供Exactly-Once的处理保证，确保数据处理的准确性和一致性。
- 支持多种数据源和数据接收器：Flink可以从多种数据源读取数据，并将处理结果写入多种数据接收器，如Kafka、HDFS等。
- 可扩展性：Flink可以根据数据量和处理需求进行水平扩展，以满足不同规模的数据处理任务。
- 生态系统丰富：Flink生态系统提供了各种扩展和整合，如Flink SQL、Flink CEP、Flink ML等，可以满足不同领域的数据处理需求。
对于包装可执行的非Flink JAR以在Flink集群中运行它，可以使用Flink提供的命令行工具或API进行操作。具体步骤如下：
- 构建可执行的非Flink JAR：首先，根据需要开发相应的应用程序，并将其打包为可执行的JAR文件。
- 配置Flink集群：在Flink集群中，需要配置相应的资源和环境，以便能够正确地运行应用程序。可以通过Flink的配置文件进行配置。
- 提交应用程序：使用Flink提供的命令行工具或API，将打包好的JAR文件提交到Flink集群中运行。可以使用以下命令提交应用程序：
- 提交应用程序：使用Flink提供的命令行工具或API，将打包好的JAR文件提交到Flink集群中运行。可以使用以下命令提交应用程序：
- 其中，
com.example.MyApplication是应用程序的入口类，/path/to/my/application.jar是应用程序的JAR文件路径。 - 监控和管理应用程序：一旦应用程序提交成功，可以使用Flink的监控和管理工具来监控应用程序的运行状态，并进行必要的管理操作。
推荐的腾讯云相关产品和产品介绍链接地址：
相关·内容
当打包使用flink连接器和第三方库(用于处理)的flink作业时，哪些依赖项应该在jar中结束，这样就可以使用("flink run jarfile")在flink集群中启动它？
做一个胖罐子是你想要的方法吗？
如果用scala编写作业，是否在jar中包含scala默认库？
我没有找到任何有关如何打包flink的作业的文档。
浏览 1提问于2016-06-17得票数 0
回答已采纳
我是flink的新手，正在尝试将我的flink程序提交到flink集群。
我有一个运行在远程kubernetes上的flink集群和一个Azure上的blob存储。
当我的本地机器上有jar文件时，我知道如何提交flink作业，但不知道如何使用远程jar文件提交作业( jar可以通过https访问)
检查了文档，它似乎没有提供我们在中所做的事情
提前感谢
浏览 25提问于2019-11-15得票数 1
回答已采纳
我正在Scala中构建一个在Flink集群上运行的作业，它将在亚马逊S3中存储数据，并且我有一些与依赖相关的问题。
我已经检查了前面提出的大部分问题，为了解决这个问题，我需要将flink-s3-fs-hadoop-1.9.1.jar jar文件添加到$FLINK_HOME/plugins中，以便成功运行我的作业：
我的问题是，这是否应该被检测为位于sbt assembly生成的fatjar中？这些文件在jar中，但是由于某些原因，Flink集群看不到它们。
我知道文档中说flink-s3-fs-hadoop-1.9.1.jar应该下载到$FLINK_HOME/plugins文件夹。
浏览 6提问于2019-12-12得票数 0
我们在集群会话模式下运行Flink，并在Dockerfile中自动添加Jars：
ADD pipeline-fat.jar /opt/flink/usrlib/pipeline-fat.jar
这样我们就可以通过Flink Rest 运行这个Jar，而不需要预先将上传到：
POST http://localhost:8081/:jarid/run
但是现在显示了“静态”Jar，以获得:jarid
GET http://localhost:8081/jars
，所以我的问题是：
是否可以使用userlib运行Flink Rest API
或者你只能引用这样的罐子
flink run -d -c
浏览 16提问于2022-04-12得票数 0
我是个新手，正在阅读Flink 1.8源代码(https://github.com/apache/flink/tree/release-1.8)以了解flink是如何使用YARN的。 我知道有用于每个作业集群模式的detached mode and non-detached mode。 对于非分离模式，例如以下命令： flink run -m yarn-cluster -c my.HelloFlink -yn 2 -ys 1 ./my.jar 在yarn集群部署之后，客户端进程开始运行我的main方法(my.HelloFlink#main)，客户端进程直到main方法结束才终止。 对于分离模
浏览 12提问于2020-09-05得票数 0
1回答
我需要在生产中运行Flink作业，我只有一台机器(不是集群)。我正在尝试为生产设置我的Flink作业，并以最好的方式完成它，就像我现在拥有的那样(以java应用程序java -jar flink_job.jar的形式运行)。我在中读到，这种部署模式只用于测试或试验，因此，对于生产，我认为我应该转到独立集群，但是，在独立集群部署模式中，我需要设置一个主服务器和至少一个工作人员。我的问题是，我必须在生产中只运行一个节点(主节点)：
--在我的情况下，在生产中运行flink的最好方法是什么？，我可以让我的主人和工作人员像本地集群一样在同一个JVM中运行吗？
有人能帮我澄清一下这个吗？谢谢。致以亲切的
浏览 9提问于2020-08-21得票数 0
1回答
EKS上的Flink集群
、、、、
我是弗林克和库伯内特斯的新手。我计划创建一个flink流作业，将数据从一个FileSystem流流到Kafka。
让flink作业jar运行良好(在本地测试)。现在我试图在kubernetes主持这项工作，并希望在AWS中使用EKS。
我已经阅读了关于如何设置flink集群的官方flink文档。
我尝试使用minikube在本地设置它，并启动了会话集群，并提交了工作正常的作业。
我的问题是:1)在两个选项中，作业集群和会话集群，因为作业是流作业，应该保持对文件系统的监视，当新文件传入时，它应该流到目的地，在这种情况下，我可以使用作业集群吗？根据文档作业集群是执行作业并在作业完成后终止的东西，如
浏览 9提问于2020-01-08得票数 0
回答已采纳
假设我有一个可执行的jar文件，里面没有任何flink代码，我的工作是让它与flink一起分发。我已经在代码中的某个地方创建并执行了StreamExecutionEnvironment，并将可以分发的jar代码放在flink运算符(即映射函数)中，从而做到了这一点。
昨天，我被要求做一项类似的工作，但只需很少的努力。他们告诉我要找到一种方法来包装这个无flink的jar，这样它就可以被flink集群执行(不需要像我上面那样注入代码和修改jar )。有没有办法做到这一点？jar声明，为了支持从打包的jar执行，程序必须使用由StreamExecutionEnvironment.getExecut
浏览 15提问于2020-06-02得票数 0
我编写了Kafka流应用程序，我想将它部署到Kafka集群上。因此，我构建了一个jar文件并使用以下命令运行它：
java -jar KafkaProcessing-1.0-SNAPSHOT-jar-with-dependencies.jar testTopic kafka1:9092,kafka2:9092 zookeeper1:2181,zookeeper2:2181 output
它运行正常，但作业运行在我在命令上运行的机器上！我想当我指定BOOTSTRAP-SERVERS时，它会自动在集群上进行计算，而不是在主机上！
那么，我的问题是如何在Kafka集群上提交kafka流作业呢？就像
浏览 1提问于2017-12-01得票数 5
回答已采纳
我最近无法将任何jars上传到我的Flink集群，该集群在AWS EMR上的YARN下运行。有一个长时间运行的流媒体应用程序已经运行了26天。似乎临时目录已经被删除了，但我真的不认为我删除了它。 在jobmanager.log中： 2019-02-12 22:02:05,156 WARN org.apache.flink.runtime.webmonitor.handlers.JarListHandler - Jar upload dir /tmp/flink-web-94fee1e8-35b9-409f-be97-d86c0f021459/flink-web-upload does
浏览 40提问于2019-02-13得票数 0
回答已采纳
1回答
我有两个节点，码头已经安装在它们上。此外，我还在码头上安装了Apache。首先，在没有显示任何结果的docker中运行此命令：
/home/flink-1.7.0/bin/mesos-appmaster.sh -Djobmanager.heap.mb=1024 -Djobmanager.rpc.port=6123 -Drest.port=8081 -Dmesos.resourcemanager.tasks.mem=1024 -Dtaskmanager.heap.mb=1024 -Dtaskmanager.numberOfTaskSlots=2 -Dparallelism.default=2
浏览 0提问于2019-03-04得票数 1
我有一个作业jar，它依赖于flink-json-1.7.2.jar，flink-table_2.11-1.7.2.jar。如果我将这两个jars文件添加到flink的lib文件夹中，它就可以在我的本地计算机上正常运行。我怎样才能在我的minikube集群上实现同样的效果。例如，将依赖项添加到flink。Ps。我已经按照this文档设置了我的minikube。 此外，我还可以看到在构建作业jar时创建的fat jar中添加了这些jar。 ?
浏览 23提问于2019-03-11得票数 2
1回答
我刚开始使用flink，并试图在EMR集群上部署jar。我使用了3个节点集群(1个主服务器和2个从节点)进行默认配置。我没有做任何配置更改，并坚持默认配置。在我的主节点上运行以下命令：
flink run -m yarn-cluster -yn 2 -c Main /home/hadoop/myjar-0.1.jar
我得到了以下错误：
INFO org.apache.flink.yarn.YarnClusterDescriptor- Deployment took more than 60 seconds. Please check if the requested resources a
浏览 1提问于2018-05-11得票数 0
我有一个具有8个CPU核心和16 CPU的Flink集群。当我使用以下命令向集群提交作业时：flink run -m ip:port -p 8 X.jar
在作业管理器web界面中，我可以看到所有8个内核都已使用。根据文档，Flink独立集群管理器使用FIFO调度来运行应用程序。我想知道Flink独立集群管理器是否支持在集群上同时运行应用程序，类似于循环？或者我应该使用纱线？
浏览 1提问于2018-01-10得票数 1
我已经在flink集群中上传了jar文件。我使用的是flink 1.6.0
以下是我上传jar文件后的结果
address "http://localhost:8081"
files
0
id "1d6dc437-bd5f-4147-a37e-b1d40d425a99_NicoWordCount.jar"
name "NicoWordCount.jar"
uploaded 1537174925000
entry
0
name
浏览 0提问于2018-09-17得票数 0
回答已采纳
我正在尝试将我的项目从Flink 1.4升级到Flink 1.9。在1.4中，我构建了一个胖jar，其中包含了我所有的hadoop 2.9.2依赖项，然后我将这些依赖项提交给k8s上的Flink集群。我没有在集群上安装hadoop。
当我将项目升级到1.9并升级集群时，我无法在集群上运行代码，尽管它在我的IntelliJ IDE上运行得很好。例外是：
java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2
浏览 3提问于2019-11-21得票数 0
新手到弗林克。
我能够在远程hdfs集群中的文件上运行示例wordcount.jar，而无需在flink中声明fs.hdfs.hadoopconf变量。
所以想知道上面提到的变量的目的到底是什么。
声明它是否改变了运行示例jar的方式？
指挥：
flink-cluster.vm ~]$ /opt/flink/bin/flink run /opt/flink/examples/batch/WordCount.jar --input hdfs://hadoop-master:9000/tmp/test-events
输出：
.......
07/13/2016 00:50:13 Job exec
浏览 2提问于2016-07-13得票数 3
回答已采纳
我有一个flink作业，它希望另一个依赖jar在运行时可用。是否可以在flink集群中提交包含多个jars的作业。我不能构建一个普通的jar。
浏览 11提问于2017-12-06得票数 1
我有一个简单的Flink流媒体应用程序。它在start-cluster.sh命令创建的集群中运行良好。
现在，基于，我希望在 on macOS创建的Kubernetes集群中本机以应用模式部署它。
首先，我通过k3d cluster create dev创建了一个集群。
这是我的文档
FROM flink
RUN mkdir -p $FLINK_HOME/usrlib
COPY target/streaming-0.1.jar $FLINK_HOME/usrlib/streaming-0.1.jar
我建造了它并把它推到码头中心。
我的集群名是k3d-dev，所以我运行
flink run-a
浏览 16提问于2021-08-12得票数 2
回答已采纳
我正在AWS EMR 6.2上部署我的Flink应用程序
Flink版本: 1.11.2
我将该步骤配置为：
Arguments :"flink-yarn-session -d -n 2"
如本文所述：
集群和步骤都处于“运行”状态。
控制器日志显示：
/mnt/var/lib/hadoop/steps/s-309XLKSZGN4V4/trigger-service-***.jar startExec 'hadoop jar startExec flink-session -d -n 2‘
然而，syslog显示应用程序并没有获取Yarn上下文。
org.apach
浏览 0提问于2021-02-24得票数 3
1回答
我正在使用flink集群，在两个不同的物理节点上有9个任务管理器。当我将jar提交给Flink的Jobmanager(Master)时，jar到底发生了什么。我的意思是，jar是被分发到所有工作节点，还是函数的某些部分被分配到所有工作节点？
我之所以这样问是因为，当我试图运行我的应用程序时，它正在本地成功地运行，但是当主题在集群上运行时，会在FlatMapFunction上给出一个序列化错误。
浏览 2提问于2017-02-23得票数 1
2回答
在编译我运行的包之后，我在本地集群上运行Flink。
flink run -c com.gurustreams.flink.EntryPoint \
/Users/jeremy.zhang/workspace/guru-streams/flink/target/scala-2.11/guru-streams-flink-assembly-0.0.1.jar \
--stream-name KafkaReadExample
并得到了以下错误：
Could not build the program from JAR file.
我还试图从jar仪表板上运行Flink文件，并发现了
浏览 0提问于2018-09-20得票数 4
回答已采纳
我已经在IDE (Intellij)和独立集群中运行了我的Flink程序(在Scala中)。在我的程序中，我打印出运行时间。在IDE中运行时，我得到了20多个，在独立集群中运行的是74s。我非常困惑，为什么在一个具有10个并行性的集群中运行这么多次。我试图比较Flink性能与火花基本上。有人能帮我弄清楚怎么会发生这种事吗？谢谢。
添加了：
我的程序示例可以找到。此特定代码在控制台中打印的时间如下所示：
Flink (IDE，Windows)：2550 IDE
Flink (独立集群，WSL2 Ubuntu)：9076
我已经更改的Flink独立集群的配置：
jobmanag
浏览 3提问于2021-07-11得票数 0
1回答
Flink无法访问JAR中的文件
、、、、
我试图在flink集群中运行JAR，但是得到了这个FileNotFound异常。 Caused by: java.io.FileNotFoundException: File file:/tmp/flink-web-88bf3f41-94fc-40bd-a865-bb0e6d5ac95c/flink-web-upload/82227475-523d-4607-8ab2-09bae8602248-tutorial-1.0-jar-with-dependencies.jar!/ldbc_sample/edges.csv does not exist or the user running Fli
浏览 292提问于2021-11-07得票数 0
1回答
我需要使用JNI库在flink集群上运行jar。有没有人可以指导我怎么做？如果它是使用VM参数提供的，那么如何在使用flink cli运行jar时传递VM参数？是否需要在flink脚本中进行任何更改？
浏览 0提问于2016-08-08得票数 0
在独立kubernetes模式(会话集群)中部署flink之后，我无法使用flink GUI上传任何新作业。在单击+Add New按钮并选择jar file之后，进度条结束，不会发生任何事情。作业管理器日志中没有关于此问题的信息/错误。当我尝试上传任何文件时(例如，文本文件)我收到一个错误，日志中有一条信息： "Exception occured in REST handler: Only Jar files are allowed." 我还尝试上传了伪jar (一个名为.jar的空文件)，它工作了--我可以上传这种类型的文件。 我有一个全新的、干净的Apache Flink
浏览 31提问于2021-09-01得票数 0
回答已采纳
1回答
Flink码头组合自定义库
、、、、
我正在尝试设置一个Flink会话集群使用坞-撰写。我希望在Flink中加载一个自定义库，因为这个库包含我所有作业使用的代码。我这样做的方法是创建一个自定义的码头映像，如下所示：
FROM flink:1.10.0
WORKDIR /opt/flink/lib
RUN mkdir /opt/flink/usrlib
RUN chown flink:flink /opt/flink/usrlib
ADD --chown=flink:flink ./myLibrary.jar /opt/flink/lib/myLibary.jar
作业/任务管理器成功启动。当我使用Web提交作业时，我的作业运行
浏览 6提问于2020-11-11得票数 0
因此，目前我的flink项目在运行"mvn包“时会产生两个jars。据我所知，在环顾互联网的基础上，maven的阴影插件制造了另一个罐子。下面是在项目的目标文件夹中生成的jars的快照：
因此，我可以将82.9MB的一个上传到flink集群并运行作业，它运行得很好，但是如果我尝试使用原始的mtsas-flink-1.3 jar ( 146.4KB )，它会抛出一个类似于“找不到主类”的错误。
因此，我的问题有两部分: 1.)为什么要生产这两个罐子。2.)有没有办法上传更小的jar，并从中运行作业？
谢谢您提前提供帮助！
浏览 1提问于2017-04-26得票数 1
回答已采纳
我们的团队在我们的K8S集群中设置了一个Flink会话集群。我们选择Flink会话集群而不是工作集群，因为我们有许多不同的Flink作业，因此我们希望将Flink的开发和部署与我们的作业分离开来。我们的Flink设置包含：
单个JobManager作为K8S吊舱，没有高可用性(HA)设置
一些TaskManagers，每一个都是一个K8S吊舱
我们在单独的存储库中开发作业，并在代码合并时部署到Flink集群。
现在，我们注意到JobManager作为K8S中的一个吊舱，可以随时由K8S重新部署。因此，一旦重新部署，它就会失去所有的工作。为了解决这个问题，我们开发了一个脚本来监视
浏览 0提问于2020-02-27得票数 1
回答已采纳
我正在kubernetes (会话集群)上部署一个flink集群，我想知道是否有任何配置(在flink-conf.yaml上)可以将外部jars加载到集群中。
据我所知，flink将加载lib/ folder下的所有jar，但假设我想上传用于指标的jar，并且我不想手动将其放入lib文件夹(因为每次部署都会将其删除)，并且我不希望将lib/ folder挂载。
我想要的解决方案是创建一个/mnt/external-jars库(这将是一个挂载)，flink将把这个目录中的所有jars加载到它的类路径中。
这在某种程度上是可能的吗？
浏览 148提问于2020-03-14得票数 0
我在同一个Flink项目中有多个工作。我想知道，当我向Flink集群提交作业时，我不知道哪个作业正在为这个提交的jar运行。例如：
我在同一个flink项目中有两个作业，创建jar然后将其部署到集群。然后，我使用相同的jar提交两个作业。
然后，我更改job2，并创建新的jar文件。然后使用新上传的jar提交job2。
在这种情况下，当查看提交UI时，我真的不知道哪个作业是从这个jar中提交的。
为了防止这种情况，我可以创建多个具有不同jar名称的flink项目。
注意:我正在使用CI/CD管道，如果在同一项目中有多个作业，则无法动态创建jar名称。
这方面的最佳实践是什么？
浏览 7提问于2021-04-21得票数 0
2回答
我想将NewRelic工具添加到flink作业中。我看不出在哪里可以向bin/flink run <job>命令传递额外的类路径/其他参数。
NewRelic java代理希望将-javaagent:<path to jar>添加到执行路径中。传递配置文件路径也是可取的。
编辑：
我在所有(3)集群机器上将这一行添加到conf/flink-conf. this中：
env.java.opts: "-javaagent:/opt/newrelic/newrelic.jar -Dnewrelic.config.file=/opt/newrelic/newrelic
浏览 1提问于2015-11-22得票数 7
我刚刚将Flink从版本1.10升级到1.11。在1.11中，Flink提供了新功能，用户可以在Kubernetes上以应用程序模式部署作业。https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/deployment/kubernetes.html#deploy-session-cluster 在V1.10中，我们启动Flink K8s集群，然后通过运行将作业提交给Flink exec ./bin/flink run \
-d \
/streakerflink_deploy.jar \
--arg1
浏览 74提问于2020-09-02得票数 1
回答已采纳
我是新的Flink，我使用以下脚本提交批处理模式的文字计数到纱线。
./flink run -m yarn-cluster ../examples/batch/WordCount.jar
它在纱线集群模式下运行，因此JM将在纱线集群的一个节点上运行。
到目前为止还不错，但我不明白为什么我看到在运行上述脚本的控制台上打印的单词dataset结果？
我想知道flink纱线集群的行为是什么，例如，如果我运行Dataset#collect，哪个进程将得到元素？
浏览 3提问于2019-02-01得票数 0
回答已采纳
我是Flink和EMR集群部署的新手。目前，我们有一个Flink作业，我们正在通过Flink CLI停止/启动作业命令在AWS EMR集群上手动部署它。
我想要自动化这个过程(在通过保存点的管道进行的每个部署中自动更新flink作业jar )，并需要一些关于可以探索的方法的建议。
浏览 3提问于2022-04-22得票数 0
我目前正在开发一个Flink应用程序，它使用一些Hadoop依赖项将数据写入S3位置。在本地环境中，它工作正常，但是当我在EMR集群上部署这个Flink应用程序时，它会抛出一个与兼容性问题相关的异常。
我得到的错误信息是
java.lang.RuntimeException: Could not load the TypeInformation for the class 'org.apache.hadoop.io.Writable'. You may be missing the 'flink-hadoop-compatibility' dependency.
浏览 0提问于2018-02-08得票数 3
回答已采纳
1回答
为了学习目的，我正在构建一个简单的数据管道。我有来自Kafka的实时数据，我想使用Flink进行一些转换。
不幸的是，我不确定我是否正确地理解了部署选项。在Flink文档中，我找到了关于Docker组成和应用模式的部分。它说，我只能将一个作业部署到Flink：
Flink应用程序群集是运行单个作业的专用群集。在这种情况下，您可以将作业部署到集群中，这样就不需要额外的作业提交了。
作业工件包含在容器内Flink的JVM进程的类路径中，包括：
您的作业jar，您通常会将其提交到会话集群和
所有其他必要的依赖关系或资源，不包括在Flink中。
要使用Docker为单个作业部
浏览 5提问于2022-01-08得票数 0
回答已采纳
我正在EKS中运行我的flink集群，我需要使用WebIdentityTokenCredentialsProvider进行身份验证。根据医生的说法，有两种方法：
普雷斯托
我试过在flink conf中设置这个：
presto.s3.credentials-provider: com.amazonaws.auth.WebIdentityTokenCredentialsProvider
但它显示了错误：
Caused by: java.lang.NoSuchMethodException: com.amazonaws.auth.WebIdentityTokenCredentialsProvide
浏览 13提问于2022-10-12得票数 0
回答已采纳
我对Apache和有状态函数非常陌生，只是尝试了一些代码。
我使用spring引导创建了一个简单的有状态问候应用程序，并包含了所有必要的依赖项，创建了一个胖jar。
我试图使用下面的命令在flink独立集群上运行这个jar
./flink run -c org.apache.flink.statefun.flink.core.StatefulFunctionsJob ./statefun-example-1.0-SNAPSHOT-jar-with-dependencies.jar
我在例外情况下
有人能告诉我这是什么问题吗？
谢谢
浏览 10提问于2022-06-10得票数 0
有一个使用typesafe配置的Flink项目，当我试图在中运行该项目时--一个具有命令flink run xxxx.jar -Dconfig=XXXX -Dus=XXXX...的独立集群--我发现无法正确识别JVM选项(这里是config和us)。通常，它应该用替换-- application.conf中相应键的值和XXXX值。
浏览 1提问于2018-03-26得票数 4
我有以下问题:我想在本地机器上用IntelliJ创建一个Flink作业，并在位于VM中的远程集群上运行它。我使用了createRemoteEnvironment函数，但是匿名类和lambda表达式都需要jar文件(如果我没有遗漏任何东西)。有没有一种(或另一种)方法可以在远程集群上运行Flink作业而不提供jar文件？下面的代码是我想在远程集群上运行的一个简单的Flink作业(没有jar)。
public static void main(String[] args) throws Exception {
StreamExecutionEnvironment env = StreamE
浏览 1提问于2018-07-10得票数 6
我只想我的flink应用程序和可配置的一样多。此外，我希望在运行时更改进程函数的行为，而不是停止集群并重新部署jar文件。
有那份文件吗？或者是否可以将进程函数代码注入正在运行的jar中。例如，从web中，我将获得流程函数输入(作为java代码)，然后在提交表单后，我将更新流程函数行为。
浏览 2提问于2022-08-15得票数 2
我正在研究方向，将现有的风暴拓扑转换为flink作业。我通过git安装了flink 1.0 (快照)，并且在本地运行git服务器和流服务器。
我通过gradle将拓扑构建到一个.jar文件中，并通过flink web接口提交它，并得到以下消息：“没有指定的条目类”。
所以-错过了一个入口？.jar需要什么特别的东西吗？舱单？
当提交到风暴集群时，此.jar正在工作。我添加了(看起来像)相关的flink .jar文件。
编辑：
通过cmd行提交作业给我显示了以下消息：
org.apache.flink.client.program.ProgramInvocationException:文件中
浏览 2提问于2015-10-25得票数 3
回答已采纳
我正在测试Apache和Spring之间的集成，在IDE上运行它们很好，但是当我尝试在Apache集群上运行时，我有一个与ClassLoader相关的异常。
这些类非常简单：
BootFlinkApplication
@SpringBootApplication
@ComponentScan("com.example.demo")
public class BootFlinkApplication {
public static void main(String[] args) {
System.out.println("some test&#
浏览 2提问于2018-01-04得票数 8
回答已采纳
1回答
我在通过scala API远程部署Flink作业时遇到了一些问题。
我可以在集群上启动Yarn会话，然后使用jar在命令行中运行作业。
我想要的是直接使用IDE运行我的作业。如何在scala中做到这一点？
val env = ExecutionEnvironment.createRemoteEnvironment("mymaster", 6123, "myjar-with-dependencies.jar")
这不起作用，我确实意识到我并没有用它来声明任何YARN部署。
有什么帮助吗？
浏览 21提问于2017-03-15得票数 1
回答已采纳
我希望在运行光束wordcount.py演示时如何设置--environment_config的指导。
它在DirectRunner上运行得很好。Flink的字数也运行得很好(即通过flink run运行Flink)。
我想使用中描述的“分离Flink集群”来使用Flink runner来运行光束。我不能使用Docker，所以我计划使用--environment_type=PROCESS。
我在python代码中使用以下代码来设置environment_config：
environment_config = dict()
environment_config['os'
浏览 20提问于2019-11-06得票数 1
回答已采纳
1回答
这是一笔交易；
我正在处理如何在运行集群(flink statefun 2.2.1)时添加新的工作人员(embbeded)。
如您所见，新的任务管理器可以注册到集群中；
但是它没有初始化(它没有部署源)；
我在这里错过了什么？？(师傅和工人也有相同的jar文件吗？或者用jar文件部署任务管理器就足够了)
任何帮助都将不胜感激，塞克斯。
浏览 2提问于2021-05-06得票数 0
我正在运行一个具有以下配置的flink docker镜像。 version: '2.1'
services:
jobmanager:
build: .
image: flink
volumes:
- .:/usr/local/lib/python3.7/site-packages/pyflink/lib
hostname: "jobmanager"
expose:
- "6123"
ports:
- "8081:8081"
comma
浏览 121提问于2020-10-11得票数 1
1回答
我使用flink 1.9.0和rabbitmq连接器读取数据，我可以成功地编译我的代码，但当我运行代码时，我得到以下错误：
java.lang.NoClassDefFoundError: org/apache/flink/streaming/connectors/rabbitmq/common/RMQConnectionConfig$Builder
我在pom文件中没有为依赖项定义任何作用域。
final RMQConnectionConfig connectionConfig = new RMQConnectionConfig.Builder().setHost("myhost.co
浏览 44提问于2019-11-06得票数 1
回答已采纳
我计划从Flink 1.5.2升级到1.6.0，然后进行作业迁移。为了最大限度地减少作业的暂停时间，我计划同时运行两个Flink集群，在成功迁移作业后，我会停止旧的。但是，当我尝试通过运行目录Flink1.5.2/bin中的stop-cluster.sh来停止Flink集群时，我发现停止的集群是Flink 1.6.0，而不是预期的Flink 1.5.2。
我做了一些测试，发现stop-cluster.sh只是停止最近启动的Flink集群，也就是说，如果你先启动集群1.6.0，然后启动Flink 1.5.2，之后当你运行stop-cluster.sh时，即使你在集群1.6.0目录Flink1.6
浏览 23提问于2018-08-30得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
