腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(5085)
视频
沙龙
1
回答
Flink
SQL
客户端
如何
区分
批处理
模式
和
流
模式
?
apache-flink
、
flink-sql
众所周知,
Flink
有两个核心mode.So (数据
流
/数据集),但是当我使用
flink
Sql
客户端
提交作业时,我不需要选择
流
或
批处理
API,因为
Flink
SQL
客户端
如何
决定使用
批处理
模式
和
流
模式
那么,我想知道
Flink
SQL
Client
如何</e
浏览 29
提问于2019-12-23
得票数 0
回答已采纳
1
回答
Flink
SQL
行为
apache-flink
、
flink-sql
、
pyflink
我想对
批处理
数据执行
Flink
SQL
。(S3中的CSV)例如,我的查询包括对两个表进行筛选和加入筛选的结果。我希望
Flink
不要以阻塞
批处理
的方式实现这两个表,然后通过join传递结果,而是使用
流
哈希连接操作符,就像datastream中的那样。 我怎样才能做到这一点?我正在使用PyFlink。
浏览 6
提问于2022-04-02
得票数 1
1
回答
如何
在
Flink
中以本地执行方式执行batch
sql
?
bigdata
、
apache-flink
据我所知,
Flink
支持本地执行
模式
(请参考https://nightlies.apache.org/
flink
/
flink
-docs-release-1.14/docs/dev/dataset/local_execution但我想使用本地执行CollectionEnvironment在
flink
中执行
批处理
sql
,以保持与在线服务
和
离线训练数据集功能工程的一致性。 谁能告
浏览 67
提问于2021-11-16
得票数 0
1
回答
如何
在执行表连接时获得最后的结果(在
flink
sql
中使用toRetractStream
apache-flink
、
flink-streaming
、
flink-sql
、
flink-table-api
下面是我使用
flink
sql
API连接两个表的代码 tEnv.createTemporaryView("A", streamA,"speed_sum,cnt,window_start_time,window_end_time我想知道
如何
获得最后一条记录,它正确地将A.speed_sum
和
B.speed_sum(A.cnt
和
B.cnt)相加。
浏览 211
提问于2021-10-27
得票数 1
1
回答
结构
流
:前n行
apache-spark
、
spark-streaming
、
apache-flink
最近,在对实时数据进行工程设计时,我遇到了结构
流
中的“前n行”问题。我需要获得50条最新的事件-时间记录作为输出,但是结构
流
给了我一个完整的无界表或几个更新的结果。我在网上搜索了很多,有几种方法如下:(2)使用
Flink
捕获最新的事件时间记录。同时使用
flink
和
structure streaming是件很麻烦的事情。如下所示,我已经尝试使用
flink
1.6,statics是一个表格吗?我不知道
如何</e
浏览 3
提问于2018-06-11
得票数 0
1
回答
在
Flink
中的范式之间移动数据
apache-flink
我在一个关系数据库中有一些
批处理
的数据,我想使用
Flink
将它们推送到消息总线上。由于
Flink
同时支持
批处理
和
流
模式
,因此它看起来非常适合。话虽如此,我不知道这项任务是属于StreamingJob还是BatchJob,以及
如何
将两者联系起来。此任务是否更适合FlinkSQL环境? 这个是可能的吗?我需要注意什么?
浏览 25
提问于2021-04-28
得票数 0
回答已采纳
1
回答
使用DataStream应用程序接口进行
批处理
的
Flink
Consumer -我们
如何
知道何时停止以及
如何
停止处理[2折]
java
、
apache-kafka
、
apache-flink
我基本上尝试使用相同的
Flink
管道(转换,使用不同的输入参数来
区分
实时
和
批处理
模式
)来在
批处理
模式
和
实时
模式
下运行它。现在,我想使用相同的代码构建一个
批处理
管道,并针对
批处理
和
实时
模式
使用不同的主题。我的
批处理
程序
如何
知道何时停止处理?
浏览 25
提问于2020-01-21
得票数 1
回答已采纳
1
回答
condition1 THEN result1不起作用的情况
flink-sql
我在
flink
版本1.12.0
和
批处理
模式
下运行
flink
sql
。then 1 end ), count(case cnt > 1 then 1 end ) from xxx 获取结果如下: xception in thread "main" org.apache.
flink
.table.api.SqlParserException:
SQL
parse failed.
浏览 12
提问于2020-12-16
得票数 0
1
回答
Flink
StreamExcutionEnvironment对ExecutionEnvironment
apache-flink
我在上读到了用于单词计数的
Flink
批处理
模式
对于
批处理
,我需要ExecutionEnvironment,就像val env = ExecutionEnvironment.getExecutionEnvironment对于
流
,我需要StreamExecutionEnvironmetn,就像val env = StreamExecutionEnvironment.getExecutionEnvironment由于
Flink
被认为是统一的
批处理
和<
浏览 3
提问于2021-05-29
得票数 0
回答已采纳
1
回答
流
处理
和
批处理
apache-spark
、
stream
、
apache-flink
、
processing
、
pipeline
由于
批处理
的延迟是在累积特定数目的数据时产生的,我是否可以将“一的大小”的
批处理
视为
流
处理?或者当运算符进行计算时还有其他的区别吗?例如,如果我将基于火花的程序的
批处理
大小设置为1,是否可以使其延迟降低到
flink
?我的一种想法是:对于
流
处理,如果处理了前一个操作符,一个数据
流
就会从前一个操作符流到后一个操作符,但是对于
批处理
过程,只有在操作符处理完一个数据之后,它才能接受另一个数据。
流
处理中的流水线似乎是加速的关键。 我的解释正确吗
浏览 9
提问于2022-11-14
得票数 0
1
回答
当
Flink
中的Kafka数据有新的Avro
模式
时,
如何
更新表
模式
?
apache-kafka
、
apache-flink
、
flink-sql
我们使用
Flink
Table API在
Flink
应用程序中使用Kafka主题。 当我们第一次提交应用程序时,我们首先从自定义注册表中读取最新的
模式
。然后使用Avro
模式
创建Kafka数据
流
和
表。我的数据序列化程序的实现的工作方式类似于Confluent
模式
注册表,它先检查
模式
ID,然后使用注册表。因此,我们可以在运行时应用正确的
模式
。但是,我不知道
如何
在不重新部署作业的情况下更新表
模式
和<
浏览 2
提问于2020-11-14
得票数 0
1
回答
Flink
:内存使用情况
apache-flink
Flink
进程模型的哪个进程负责内存分配?
浏览 5
提问于2016-02-10
得票数 3
回答已采纳
1
回答
带有Table
和
Datastream API的
Flink
1.14中的全局排序
sorting
、
apache-flink
我发现在Stackoverflow
和
其他网站上有关这个问题的很多问题都有相当长的历史,或者是关于不推荐的API,或者没有完全回答这个问题。
Flink
有两个APIs - DataStream
和
Table --它们可以在batch或streaming执行
模式
下运行。不建议使用DataSet API。如果我想在
批处理
模式
下对有界数据进行全局排序,orderby的并行性是否仅限于1?
flink
如何
处理大型数据?它是否溢出到磁盘?
流
执行
浏览 17
提问于2022-04-27
得票数 0
回答已采纳
1
回答
Flink
数据存储-使用windows处理文件中的数据
flink-streaming
我正在学习
Flink
框架,并处理一个
流
作业,它将从csv文件中读取数据,并使用DataStream API执行一些聚合。数据字段包括城市、州代码、人口值。数据将由州代码
和
计算出的每个密钥的总数之和来确定。输出将采用这样的格式:(州代码,人口之和)。(附带说明:我在
Flink
文档中经历了事件时间处理。
浏览 2
提问于2021-12-08
得票数 0
1
回答
Flink
卡夫卡
流
相对于星火卡夫卡
流
的好处?卡夫卡流过弗林克?
apache-kafka
、
spark-streaming
、
apache-storm
、
apache-flink
、
apache-kafka-streams
在火花
流
中,我们设置了几乎实时的微
批处理
的
批处理
间隔。在
Flink
(DataStream)或Storm中,
流
是实时的,所以我想没有这样的
批处理
间隔的概念。在卡夫卡,消费者在拉,我想象星火使用批参数从卡夫卡经纪人提取消息,那么
Flink
和
Storm是
如何
做到的呢?我设想
Flink
和
Storm在一个快速循环中拉出Kafka消息形成实时
流
源,如果是这样的话,如果我将火花
批处理<
浏览 5
提问于2016-10-24
得票数 7
回答已采纳
2
回答
使用
Flink
动态使用
和
接收Kafka主题
amazon-s3
、
apache-flink
、
avro
、
flink-streaming
我想知道是否有可能构建一个
Flink
应用程序,它可以动态地消耗所有匹配regex
模式
的主题,并将这些主题同步到s3。另外,每个被动态同步的主题都会有Avro消息,
Flink
应用程序将使用。
浏览 4
提问于2017-12-21
得票数 0
回答已采纳
2
回答
Apache与Hadoop上的Mapreduce相比
如何
?
hadoop
、
mapreduce
、
apache-flink
Apache与Hadoop上的Mapreduce相比
如何
?在哪些方面更好,为什么呢?
浏览 9
提问于2015-04-28
得票数 14
回答已采纳
1
回答
在
Flink
中使用异步I/O调用分页HTTP
apache-flink
、
flink-sql
、
flink-batch
我的问题是:有人知道怎么做吗?问候
浏览 14
提问于2022-08-31
得票数 0
1
回答
当打印表时,op列在pyflink中的含义是什么?
pyflink
当我使用pyflink
sql
执行联接查询并打印结果时,会出现一些重复的行,其中一个op列显示在附加的屏幕截图中,您知道这是什么以及
如何
生成非重复的结果吗?提前谢谢。
浏览 4
提问于2022-06-23
得票数 0
1
回答
Flink
1.12.0
sql
客户端
查询单元表
apache-flink
我正在尝试使用
flink
sql
客户端
执行单元查询,并修改
sql
defaults.yaml 处决:
sql
-client.sh embedded 第二步
浏览 5
提问于2020-12-21
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
官宣:Apache Flink 1.14.0 发布
Apache Flink OLAP引擎性能优化及应用
Flink on Hive构建流批一体数仓
flink handbook-flink数据流编程模型
Flink:动态表上的连续查询
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券