腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Flink
如何
使用
从
Avro
输入
数据
推断出
的
模式
创建
表
apache-flink
、
flink-sql
我已经在
Flink
数据
集中加载了一个
Avro
文件: AvroInputFormat<GenericRecord> test = new AvroInputFormat<GenericRecord>(N_COMMENT": "ts. silent requests haggle. closely express packages sleep across the blithely"} 现在我想从DS
数据
集
创建
一个与
Avro
文件
模
浏览 26
提问于2019-01-28
得票数 0
回答已采纳
2
回答
当我
创建
一个带有“存储为
Avro
”子句
的
hive
表
时,
AVRO
模式
存储在哪里?
hive
、
schema
、
avro
、
metastore
至少有两种不同
的
方法可以
创建
一个以
Avro
数据
为后盾
的
蜂窝
表
:
创建
表
'org.apache.hadoop.hive.serde2.
avro
.AvroSerDe‘=’hdfs:///user/root/
avro
/sch
浏览 0
提问于2017-05-30
得票数 14
回答已采纳
1
回答
将
Flink
Kafka与
模式
注册
表
集成
apache-kafka
、
apache-flink
、
avro
、
flink-streaming
、
confluent-schema-registry
我们正在
使用
一个集成平台来部署Kafka。我们
使用
模式
注册
表
来存储
模式
。是否可以将
模式
注册中心与
flink
集成?
如何
从
汇流平台读取
AVRO
格式
的
数据
?
浏览 8
提问于2022-06-17
得票数 0
回答已采纳
1
回答
Apache可以用Java反序列化KafkaSource流吗?
java
、
apache-kafka
、
apache-flink
、
avro
我想反序列化一个KafkaSource流和
Avro
。KafkaSource<String> source = KafkaSource.setDeserializer(new SimpleStringSchema())我想知道是否有可能将new SimpleStringSchema转换为
Avro
反序列化器,如果可以,
如何
实现?
浏览 2
提问于2022-08-02
得票数 0
1
回答
使用
ConfluentSchemaRegistry反序列化
avro
数据
时发生异常?
apache-kafka
、
apache-flink
、
avro
、
confluent-platform
、
confluent-schema-registry
我是
flink
和Kafka
的
新手。我正在尝试
使用
Confluent Schema注册
表
对
avro
数据
进行反序列化。我已经在ec2机器上安装了
flink
和Kafka。此外,在运行代码之前已经
创建
了"test“主题。运行
flink
可执行jar
的
命令: .(Thread.java:748) 我在User类中
使用
的
Avro
模式
如下: { &
浏览 43
提问于2019-04-22
得票数 1
1
回答
当
Flink
中
的
Kafka
数据
有新
的
Avro
模式
时,
如何
更新
表
模式
?
apache-kafka
、
apache-flink
、
flink-sql
我们
使用
Flink
Table API在
Flink
应用程序中
使用
Kafka主题。 当我们第一次提交应用程序时,我们首先从自定义注册
表
中读取最新
的
模式
。然后
使用
Avro
模式
创建
Kafka
数据
流和
表
。我
的
数据
序列化程序
的
实现
的
工作方式类似于Confluent
模式
注册
表</
浏览 2
提问于2020-11-14
得票数 0
1
回答
从
kafka datastream提取不同
模式
的
Flink
写入hudi
apache-flink
、
flink-streaming
、
apache-hudi
因此,我有一个卡夫卡主题,其中包含了不同图式
的
avro
记录。我想
使用
flink
中
的
Kafka主题,并
创建
avro
泛型记录
的
数据
。 现在,我想
使用
从
datastream提取
的
模式
在hudi中编写
数据
。但是由于hudi管道/编写器在一开始就
使用
预定义
的
avro
模式
进行配
浏览 9
提问于2022-10-20
得票数 0
1
回答
Flink
中
的
异常流到Kafka
Avro
Sink java.lang.IllegalAccessException: Class org.apache.
avro
.specific.SpecificData
scala
、
apache-kafka
、
avro
、
flink-streaming
我
使用
flink
流
从
Kafka源主题中读取事件,在去复制之后,编写来将
avro
主题中
的
kafka主题分离开来。Sink")以下是我遵循
的
步骤: { "type":"record",
avro
-
浏览 6
提问于2022-11-20
得票数 0
1
回答
Flink
使用
AvroDeserializationSchema读取
avro
主题
scala
、
apache-kafka
、
apache-flink
、
avro
、
flink-streaming
我正在尝试用case类阅读
avro
kafka
的
Scala主题:properties.setProperty("bootstrap.servers", kafkaBrokers) properties.setProperty("group.id", "
flink
_app_
avro
Av
浏览 0
提问于2021-02-19
得票数 0
1
回答
将字节流反序列化为Scala case类对象时发生java.lang.Instantiation异常
scala
、
apache-kafka
、
apache-flink
、
avro
我正在尝试将
avro
字节流反序列化为scala case类对象。基本上,我有一个带有
avro
编码
数据
流
的
kafka流,现在向
模式
中添加了一个,我正在尝试更新scala case类以包括新字段。
模式
如下所示: { "name": "some_name", &q
浏览 13
提问于2019-05-30
得票数 1
回答已采纳
2
回答
如何
使用
Avro
和
Flink
解码Kafka消息
java
、
apache-kafka
、
avro
、
apache-flink
我正在尝试
使用
AVRO
1.0.3
从
Kafka主题读取
Flink
数据
。 StreamExecutionEnvironment
AVRO
KAFKA
浏览 3
提问于2016-08-02
得票数 3
回答已采纳
1
回答
如何
使用
Sqoop将
数据
保存为parquet
avro
文件格式?
hadoop
、
avro
、
parquet
、
sqoop
我需要将
数据
从
关系
数据
库移动到HDFS,但我希望将
数据
保存为文件格式。看一下,我
的
选项似乎是--as-parquetfile或--as-avrodatafile,但不是两者
的
混合。根据我对下面这个/picture
的
理解,parquet-
avro
的
工作方式是,它是一个嵌入了
avro
模式
的
镶嵌文件,以及一个转换和保存
avro
对象到镶嵌文件
的
浏览 21
提问于2017-03-14
得票数 0
1
回答
基于文件结构
的
蜂箱
表
创建
hadoop
、
hive
我有一个疑问,在蜂箱中是否有任何方法在装载期间
创建
表
到蜂窝仓库或外部
表
。而不是
如何
将这些文件加载到hive
表
中。因此,简而言之,
如何
在不知道HDFS
的
架构结构
的
情况下将文件
从
HDFS加载到HIVE Table。
浏览 1
提问于2018-07-07
得票数 2
回答已采纳
1
回答
找不到实现'org.apache.
flink
.table.factories.DeserializationFormatFactory‘
的
标识符“
avro
-confluent”
的
任何工厂
apache-kafka
、
apache-flink
、
flink-table-api
我有一个
Flink
作业,它在本地运行得很好,但当我尝试在集群上运行
flink
作业时失败。当尝试通过'connector‘= ' Kafka’
从
kafka加载
数据
时发生错误。我
使用
Flink
-Table API和confluent-
avro
格式
从
Kafka读取
数据
。所以基本上我
创建
了一个
从
kafka主题中读取
数据
的
表
:
浏览 299
提问于2021-10-22
得票数 0
回答已采纳
2
回答
使用
Flink
动态
使用
和接收Kafka主题
amazon-s3
、
apache-flink
、
avro
、
flink-streaming
我还没能在网上找到很多关于这个
的
信息。我想知道是否有可能构建一个
Flink
应用程序,它可以动态地消耗所有匹配regex
模式
的
主题,并将这些主题同步到s3。另外,每个被动态同步
的
主题都会有
Avro
消息,
Flink
应用程序将
使用
。
浏览 4
提问于2017-12-21
得票数 0
回答已采纳
1
回答
如何
为特定
模式
从
Server 2014 (Unicode)将
数据
导入Hive仓库
sql-server
、
hadoop
、
hive
、
cloudera
、
sqoop
我想从Server导入
数据
并从hive查询
数据
。但是sqoop只导入
模式
"dbo“
的
浏览 4
提问于2015-07-08
得票数 1
回答已采纳
1
回答
未能连接到合流平台架构注册
表
- Apache Confluent格式
apache-kafka
、
apache-flink
、
confluent-platform
、
confluent-schema-registry
、
flink-sql
我正在
使用
集群、Schema服务,并试图在
Flink
作业中处理Debezium消息。作业被配置为
使用
Table & SQL连接器和Confluent格式。但是,作业无法连接到架构注册
表
并引发401错误。
表
连接器配置 " ORDER_ID STRING,\n" + "(ConfluentSchem
浏览 3
提问于2021-02-08
得票数 3
1
回答
Apache :处理来自Kafka
的
“合流”中
的
坏
avro
记录
apache-kafka
、
apache-flink
、
avro
、
flink-streaming
、
flink-sql
我
使用
Flink
的
表
API
创建
了一个
表
。'当运行SQL查看记录时,我得到:[ERRORReason:
Flink
SQL> select * from default_catal
浏览 0
提问于2021-10-12
得票数 0
1
回答
使用
Spark或Hive控制台
从
avro
表
获取异常读取--无法
从
文件
模式
获得varchar字段
的
maxLength值:"string“
apache-spark
、
hive
、
avro
、
spark-avro
我在蜂巢中
创建
了两个
表
CREATE external TABLE
avro
2(id INT,name VARCHAR(64),dept VARCHAR(64))PARTITIONED BY (yoj VARCHAR(64)) STORED AS
avro</em
浏览 0
提问于2020-01-09
得票数 0
4
回答
有没有办法以编程方式将JSON转换为
AVRO
Schema?
json
、
schema
、
avro
、
avro-tools
我需要
创建
AVRO
文件,但为此我需要两样东西:2)
Avro
模式
{"web-app": { {"taglib": { "taglib-location": "/WEB-INF/tlds/cofax.tl
浏览 4
提问于2017-10-04
得票数 9
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何将kafka中的数据快速导入Hadoop?
深度解读:Flink 1.11 SQL流批一体的增强与完善
不惧流量持续上涨,BIGO 借助 Flink 与 Pulsar 打造实时消息系统
Apache Flink 进阶(五):数据类型和序列化
Flink on Hive构建流批一体数仓
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券