腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Flink
流
作业
执行
图
分析
apache-flink
、
flink-streaming
我对
Flink
的性能有一些疑问, 谁能告诉我,如果我的程序有一个与下图相同的
执行
计划,哪里出了问题? 谢谢。 enter image description here
浏览 16
提问于2020-04-20
得票数 0
1
回答
DataStream上的
Flink
sql查询(Apache )
java
、
apache-flink
、
stream-processing
、
event-stream-processing
事件数据报 现在我有了一个tuple3的数据仓库,它看起来像<ruleId, Rule, Event>。我正在学习动态表和
Flink
SQL的概念。我不知道如何进一步处理。有人能帮帮我吗?
浏览 0
提问于2018-02-09
得票数 0
2
回答
如何将火花/
Flink
流
数据处理创建为Microservice (REST )
apache-spark
、
playframework-2.0
、
microservices
、
apache-flink
、
lagom
我正在创建
流
分析
应用程序使用火花,
Flink
和卡夫卡。每个
分析
/功能都将实现为Microservice,以便该
分析
可以在以后的不同项目中使用。我在简单的Scala应用程序中完美地运行了我的Spark/
Flink
作业
,并分别在Spark &
Flink
集群上提交了这个
作业
。但是,当REST将startJob()请求调用到web服务时,我必须启动/运行此
作业
。 如何在面向web服务的
浏览 3
提问于2017-04-25
得票数 1
2
回答
如何知道
作业
是否从保存点恢复?
apache-flink
在Apache
Flink
中定义和
执行
我的
流
处理器的
作业
图
之前,我想运行一些初始化代码,例如,用于创建Kafka主题,我将其用作
作业
图中的接收器。然而,当
流
处理器从保存点恢复时,例如在对流处理器的更新期间,该初始化代码不应在其上运行。有没有办法以编程方式检查
作业
是否从保存点启动?
浏览 5
提问于2020-05-19
得票数 1
2
回答
除了使用他们的仪表板之外,如何提交
flink
作业
?
apache-flink
、
flink-streaming
我已经编写了
flink
作业
来使用数据集和数据
流
api。我已经从相同的main()方法启动了这两个程序,但现在当我将
作业
提交到
flink
Dashboard时。只有dataset api程序正在运行,仪表板显示
作业
已完成,
流
未被触发,
flink
仪表板也未显示有关数据
流
执行
的任何内容。但是,当我从eclipse运行时,数据集和数据
流
api程序都在运行。是否有其他方法可以将
作业
提交给<e
浏览 16
提问于2017-07-12
得票数 1
1
回答
使用cassandra数据库查询作为
Flink
程序的源
java
、
sockets
、
cassandra
、
apache-flink
我有一个Cassandra数据库,它必须在我的
Flink
程序中从套接字中接收它的数据,比如用于
流
处理的蒸汽。因此,我编写了一个简单的客户端程序,它从Cassandra读取数据并将数据发送到套接字;此外,我在服务器base.In事实中编写了
Flink
程序,我的客户端程序很简单,不使用任何
Flink
指令;它只向套接字发送字符串格式的首先,运行
Flink
程序来侦听客户端,然后运行客户端程序。客户端从服务器接收到此
流
(因为服务器发送数据,而客户端无法正确接收): 嗨客户端org.apache.<
浏览 0
提问于2018-12-27
得票数 0
回答已采纳
3
回答
关于卡夫卡
Flink
流
的几个问题
apache-flink
、
flink-streaming
我有一个Java应用程序午餐,一个
flink
作业
来处理Kafka
流
。在flinkEnv.execute("
flink
job name")提交
作业
时,应用程序在这里挂起,因为
作业
将永远运行,以获取从kafka传入的
流
。 在这种情况下,如何从
执行
过程中返回
作业
id?如何从Java远程服务器取消给定
作业
名的
flink
作业
?
浏览 3
提问于2016-09-16
得票数 0
1
回答
使用Java设置
Flink
分离模式
apache-flink
、
flink-streaming
、
flink-batch
Flink
群集详细信息,
Flink
版本:1.11我们使用PackagedProgram从
流
作业
中提交
Flink
批处理
作业
,但是我们的要求是一次只
执行
一个
作业
,假设我们从源获得2个事件,所以理想的情况下,必须触发2个批处理
作业
(每个事件),但每次只能
执行
一个。为了实现这一点,我们使用了client.setDetached(false)
浏览 4
提问于2020-09-22
得票数 0
回答已采纳
1
回答
AWS Elastic MapReduce和AWS Kinesis Data Analytics有何区别?
amazon-web-services
、
apache-flink
、
amazon-emr
、
amazon-kinesis-firehose
我正在使用此工具
执行
Flink
作业
。我认为两者都可以通过正确的配置来完成完全相同的任务。Kinesis Data Analytics是否做了EMR不能做的事情,反之亦然?Amazon Kinesis Data Analytics是
分析
流
数据、获得可操作的洞察并实时响应业务和客户需求的最简单方法。您还可以在EMR中运行其他流行的分布式框架,如Apache Spark、HBase、Presto和
Flink
。
浏览 29
提问于2019-05-17
得票数 7
1
回答
在
执行
流
之前,有没有办法通过编程检查
Flink
流
作业
是否从保存点启动?
apache-flink
、
flink-streaming
在StreamExecutionEnvironment上调用execute并启动
流
作业
之前,有没有一种方法可以通过编程来确定
作业
是否从保存点恢复?我需要知道这样的信息,这样我才能在构建
作业
图
时根据它设置Kafka源的偏移量。此外,initializeState方法是在
执行
作业
图
之后调用的,因此我认为没有与之相关的可行解决方案。 我进行的另一个尝试是查找一个
Flink
作业
参数,该参数指示
作业
是否从保存
浏览 37
提问于2019-10-12
得票数 1
回答已采纳
1
回答
在
Flink
中动态创建新数据
流
apache-flink
、
flink-streaming
、
flink-cep
我正在尝试根据数据库中的某些规则从一个原始数据
流
中创建新的数据
流
。启动
Flink
作业
后,如果我需要根据数据库中更新的条目创建新的数据
流
,我如何才能做到这一点。因此,这里我不想重新启动
Flink
作业
,而是在运行时动态创建新的数据
流
,并将其添加到
执行
DAG中。
浏览 4
提问于2016-06-27
得票数 2
1
回答
Apache
Flink
生产集群详细信息
apache-flink
、
flink-streaming
我是
Flink
的新手。如何了解
flink
的生产群集要求。以及如何在纱线集群模式下确定每个
作业
执行
的
作业
内存、任务内存和任务槽。对于ex-我每天必须使用数据
流
处理大约6-7亿条记录,因为它是实时数据。
浏览 20
提问于2020-07-11
得票数 0
回答已采纳
1
回答
消息传递的
Flink
有状态函数地址解析
apache-flink
、
partitioning
、
actor
、
flink-streaming
、
flink-statefun
在
Flink
datastream中,假设一个上游操作符驻留在机器/任务管理器m上,那么上游操作符如何知道承载下游操作符的机器(任务管理器) m’。在JobManager对
作业
子/任务(操作员)的初始调度过程中,是否建立了下游/上游运算符之间的数据
流
路径,并在应用程序生存期内固定了这样的数据
流
路径?更一般地,考虑支持动态消息传递和数据
流
不固定或未预定义的
Flink
有状态函数,并给出一个带有键k的函数,该函数需要向另一个具有键k’的函数发送消息/事件
浏览 6
提问于2020-08-23
得票数 0
回答已采纳
1
回答
在我的例子中,翻滚窗口的分组依据没有输出
apache-flink
、
flink-streaming
、
flink-sql
我使用的是
Flink
1.12。我想读取csv,并根据处理时间进行翻滚窗口分组。代码如下,但是查询sql_tubmle_window没有输出,我想知道问题出在哪里 import org.apache.
flink
.streaming.api.scala._import org.apache.
flink
.types.Row def ma
浏览 5
提问于2021-05-02
得票数 0
回答已采纳
1
回答
Flink
streaming:如何控制
执行
时间
apache-flink
、
flink-streaming
有没有类似的API可以在t秒后优雅地关闭
flink
流
?
浏览 4
提问于2017-07-26
得票数 0
1
回答
EKS上的
Flink
集群
java
、
amazon-web-services
、
kubernetes
、
apache-flink
、
amazon-eks
我计划创建一个
flink
流
作业
,将数据从一个FileSystem流流到Kafka。我尝试使用minikube在本地设置它,并启动了会话集群,并提交了工作正常的
作业
。我的问题是:1)在两个选项中,
作业
集群和会话集群,因为
作业
是
流
作业
,应该保持对文件系统的监视,当新文件传入时,
浏览 9
提问于2020-01-08
得票数 0
回答已采纳
1
回答
使用RocksDB的
Flink
状态
apache-flink
、
flink-streaming
在
Flink
作业
中使用RocksDB存储操作符状态检查点与使用RocksDB作为缓存(而不是Redis之类的缓存)有什么区别?我需要将处理过的数据从
Flink
作业
存储到缓存24小时,并根据这些数据在
流
作业
中
执行
一些计算。数据必须在24小时后删除。RocksDB可以用于这个目的吗?
浏览 8
提问于2022-01-28
得票数 0
回答已采纳
3
回答
使用
Flink
-Kafka连接器均匀地消耗事件
apache-flink
、
flink-streaming
我正在使用
Flink
来处理Kafka的
流
数据。流程是非常基本的,从Kafka消耗,数据丰富,然后沉到FS。我将并行级别设置为260并提交了一个
作业
,但出于某种原因,
作业
管理器将插槽的数量乘以4。查看
执行
计划
图
浏览 4
提问于2020-06-16
得票数 2
回答已采纳
3
回答
如何为一组操作/工作
流
创建DAG表示?
workflow
、
apache-flink
、
directed-acyclic-graphs
、
stream-processing
我们使用apache
flink
进行
流
处理。文档说,
flink
基于定义的操作(对流数据的转换链)生成
执行
图
/DAG。我还可以在UI门户上看到DAG表示。 我有点好奇如何在幕后做到这一点。有没有为
flink
做这件事或者由
Flink
自己实现的可用的库?
浏览 33
提问于2020-02-10
得票数 0
1
回答
尝试为检查点
作业
启动
flink
作业
主机时超时
kubernetes
、
apache-flink
、
flink-streaming
、
high-availability
我正在尝试将
flink
设置为从检查点恢复。在大多数情况下,这似乎是有效的,然而,在将其部署到我们的分段环境大约一周后,
作业
管理器已经开始崩溃循环,因为在尝试启动
作业
的“
作业
主机”时超时。我使用在高可用性模式下部署的
flink
1.7.2和zookeeper 3.4.9-1757313,只是为了方便检查点恢复。我在kubernetes上只部署了一个
作业
管理器作为有状态集。一定是什么原因导致服务器崩溃,并且在重新启动时,启动(可能)恢复的
作业
的
作业
主机的代
浏览 57
提问于2019-06-19
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache Flink 进阶(六):Flink 作业执行深度解析
Flink作业问题分析和调优实践
对TensorFlow中数据流图的可视分析
flink用例
批流融合实时平台在好未来的应用实践
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券