腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在Apache
Flink
中有没有持久化静态
表
的方法
java
、
apache-flink
目前,我正在尝试使用Apache
Flink
处理ETL。在项目中,有几个步骤需要查询
维度
表
才能将CityName转换为CityID。column map to CityId) ---- Employee ETL (CityName column map to CityId) 目前,对于每个流,我们方法是在
维度
表
所在的这不是一个有效的方法,我想问一下,有没有一种方法可以在
Flink
内部保留
维度
表
内容,并能够在整个项目范围内
浏览 4
提问于2017-05-11
得票数 0
2
回答
我可以使用
Flink
的文件系统连接器作为查找
表
吗?
apache-flink
、
flink-streaming
、
flink-sql
纱线上的
Flink
1.13.2 (
Flink
SQL) -文件系统是“有界和无界扫描,Lookup我可以使用文件系统连接器(csv)来创建查找(
维度
)
表
来丰富Kafka事件
表
吗?如果是-如何使用
Flink
SQL?我想这是因为没有向工作节点广播小型csv
表
。在Spark中,我使用相关的提示来解决这些类型的问题。)
浏览 1
提问于2021-09-20
得票数 1
回答已采纳
1
回答
如何在apache
flink
中实现类似于samza的WindowableTask?
apache-flink
、
flink-streaming
collector.send(new OutgoingMessageEnvelope(OUTPUT_STREAM, eventsSeen)); } } 谁能告诉我如何在apache
flink
浏览 16
提问于2020-12-23
得票数 0
回答已采纳
2
回答
Druid与Kafka摄入:过滤数据
apache-kafka
、
druid
、
data-ingestion
在从卡夫卡到德鲁伊的摄取过程中,是否有可能通过
维度
值过滤数据? 考虑
维度
:version,它可能有值:v1、v2、v3,我希望只加载v2。我意识到这可以用火花/
Flink
/Kafka流来完成,但是也许有一个现成的解决方案。
浏览 4
提问于2017-03-20
得票数 2
回答已采纳
1
回答
在
Flink
SQL作业中查询SQL Server数据库
表
时,为什么
Flink
SQL作业从正在运行变为已完成?
apache-flink
、
flink-sql
当我们在作为SQL Server数据库
表
的源的
Flink
SQL CLI中选择任何
表
时,为什么
Flink
作业在从数据库
表
中获取所有记录后“完成”?有没有可能让它“运行”,这样它就可以从数据库
表
中获取最新的数据?
浏览 4
提问于2020-12-25
得票数 1
2
回答
Flink
应用程序抛出类在Java中找不到异常
java
、
apache-flink
我有一个带有Yarn的
Flink
集群,使用
flink
-quickstart-java原型构建一个演示项目。at org.apache.
flink
.client.CliFrontend$1.call(CliFrontend.java:1127) at org.apache.
flink
.client.CliFrontend>
flink
-core</artifactId> <version>${
flink
.version}</
浏览 1
提问于2019-08-05
得票数 3
1
回答
flink
表
SQL Api
scala
、
apache-flink
、
flink-streaming
、
flink-cep
我想知道我们能否使用
flink
表
和SQL中的两个
表
( join)来编写查询。我的查询将类似于select...
浏览 4
提问于2017-06-02
得票数 0
回答已采纳
1
回答
如何从Hive Metastore获取
Flink
创建
表
ddl
apache-flink
、
flink-sql
我有几张
Flink
表
,它们都存放在Metastore蜂巢里。我想收回所有这些
表
,然后生成create 。CREATE TABLE if not exists cdc_log (log STRING) 'connector' = 'kafka'properties.group.id' = 'xxx', 'scan.
浏览 6
提问于2022-05-07
得票数 0
2
回答
定义StreamTableEnvironment对象时出现Apache问题
java
、
docker
、
apache-flink
、
flink-streaming
我正在编写一个Java项目,使用Apache在Dockerized数据库中创建一个
表
。在几十行之后,运行时错误主要由以下因素驱动: <groupId>org.apache.
flink
<
浏览 6
提问于2021-12-17
得票数 4
1
回答
在Java中将对象列表添加到
flink
表
的最佳方法是什么?
java
、
spring-boot
、
apache-flink
、
flink-streaming
我有一个要添加到
flink
表
中的对象列表。请分享如何创建
表
、注册以及如何将对象添加到
flink
表
中。String firstName: List<Something> somethings = new ArrayList<Something>(); 如何创建
flink
表
,并将列表中对象的每个实例作为新记录添加到
flink
表
中。
表</e
浏览 2
提问于2020-06-04
得票数 0
1
回答
使用Spark或
Flink
将基于Kafka事件的数据转换为关系星型模式
mysql
、
apache-spark
、
apache-kafka
、
data-warehouse
、
apache-flink
对于卷和用例,我不认为需要基于Hadoop的系统,但Kafka Connect,Spark和
Flink
是可能的。我打算构建一个基于星型模式的报告数据库,独立于主生产数据库,由
维度
和事实
表
组成,并允许Tableau报告这一点。我的微服务将使用Avro模式注册
表
将事件推送到相关主题,然后报告微服务将使用这些事件并更新星型模式。 现在我的问题是:实现从Kafka到相关星型模式的事件转换的最佳方式是什么?可以编写代码来检查每个事件,然后更新事实
表
,但是考虑到我可能会在事实
表
中的数据桶上使用15到
浏览 0
提问于2018-03-23
得票数 3
1
回答
如何调试
Flink
任务问题
scala
、
serialization
、
apache-flink
、
flink-streaming
嗨,我正在尝试运行一个
flink
scala应用程序,它从kafka读取,应用一些查找转换,然后写到kafka。我在当地测试过,效果很好。at org.apache.
flink
.streaming.api.graph.StreamConfig.getTypeSerializerOut(StreamConfig.java:216) ~[
flink
-distat org.apache.
flink
.util.InstantiationUtil.deserializeObject(I
浏览 2
提问于2021-09-01
得票数 0
回答已采纳
2
回答
Apache 1.14.0 -无法通过Java中的SQL使用python
apache-flink
、
user-defined-functions
、
flink-table-api
input_types=[DataTypes.INT()], result_type=DataTypes.INT()) return a + 1➜
flink
-1.14.0 .ret1 = tEnv.executeSql("select add1(3)"); }然后通过
Flink
客户端运行作业:
flink
run
浏览 6
提问于2021-12-03
得票数 3
1
回答
Flink
从Hadoop读取数据并发布到Kafka
apache-flink
、
flink-streaming
、
flink-batch
我需要从HDFS读取数据并将其发布到Kafka主题。因为它们是DataSet和DataStream API的一部分,所以可以在一个工作中完成我想要做的事情吗?
浏览 34
提问于2020-04-29
得票数 0
回答已采纳
1
回答
Apache :如何在滚动时间窗口中使用DISTINCT?
apache-flink
、
flink-streaming
、
flink-sql
_time属性是rowtime,我将它注册为一个
表
:然后我查询
表
: "SELECT tumble_start(_time, interval '10' second) as timestart,at org.apache.
flink
.table.codeg
浏览 1
提问于2018-03-02
得票数 1
1
回答
Flink
: DataStream左连接
表
。超级简单
apache-flink
、
flink-streaming
在使用更大的生产数据集之前,我想了解如何使用
Flink
API在玩具数据集上实现这一点。有关
表
连接的文档显示了如何连接两个
表
并取回另一个
表
,这不是我想要的: https://ci.apache.org/projects/
flink
/
flink
-docs-release-1.12/dev/table/tableApi.html#joins DataStream上的文档连接显示在一个时间窗口连接两个流,这也不是我
浏览 66
提问于2021-04-25
得票数 0
回答已采纳
1
回答
Flink
SQL查询orc
表
为空。
apache-flink
、
flink-sql
亲爱的所有人,
Flink
SQL>从table1选择*,其中dt=‘1609739880002’;
Flink
SQL>从table1中选择计数(*),其中dt
浏览 2
提问于2021-01-04
得票数 0
回答已采纳
1
回答
Flink
作业从另一个关于纱线的程序开始,但由于"JobClientActor似乎已经死了“而失败。
hadoop-yarn
、
apache-flink
我是新的
flink
用户,我有以下问题。使用
flink
将从关系数据库中提取的相关数据传输到HBase中。我用多个ExecutionEnvironments (每个RDB
表
一个用于并行传输
表
行)在java上编写
flink
批处理应用程序,以便按
表
顺序地传输
表
(因为调用env.execute()是阻塞的)。我像这样开始纱线会话export
FLINK
_H
浏览 1
提问于2018-01-16
得票数 7
回答已采纳
1
回答
Flink
流连接可能返回大结果集的
维度
表
。
apache-flink
、
flink-streaming
、
stream-processing
、
flink-sql
有些事件是广播事件,意味着当收到此类事件时,我需要转到数据库
表
,查找事件的所有订阅者,在我的用例中可以是10,000行,然后将单个广播事件转换为10,000个通知事件。对于普通事件类型,可以使用附加的user_id键来加入订阅
表
,而订阅
表
没有问题。--如何加入大型ResultSet,将它们返回内存--似乎不是一个可伸缩的解决方案。我刚刚开始使用
Flink
,对于这个用例,正确的或可执行的架构是什么?如果需要,广播事件类型和正常事件类型可以分为两个源。
浏览 2
提问于2020-04-26
得票数 0
2
回答
如何使用
Flink
读取Postgresql中的
表
postgresql
、
apache-flink
我想使用
Flink
对Postgresql中的数据进行一些分析。我应该如何和在哪里给出端口地址,用户名和密码。我正在尝试使用链接:中提到的
表
源。
浏览 0
提问于2018-06-21
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink:动态表上的连续查询
聊聊数据仓库中维度表设计的二三事
分库分表的路由过程和分片维度的介绍
百亿大表任意维度查询,如何做到毫秒级返回?
Flink基础教程(二):初探Flink
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券