腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
基于
文件
结构
的
蜂箱表创建
hadoop
、
hive
据我所知,蜂巢是基于
模式
的
阅读。因此表结构必须与
文件
结构同步。但是,如果
文件
大小很大,而且我们不知道它
的
结构,例如,列及其
数据
类型。新来
的
蜂巢,如果我
的
理解是错
的
,请原谅。 谢谢
浏览 1
提问于2018-07-07
得票数 2
回答已采纳
1
回答
Nifi
和
Avro
:
使用
指定
的
avro
模式
将
数据
和
元
数据
转
换为
avro
文件
?
avro
、
apache-nifi
这与Apache
Nifi
相关。 我有一个固定
的
模式
,我需要
使用
它。AVSC
文件
(架构)(仅示例): {"name": "person","type": "record","fields": [{"name": "address","type": {"type" :name": "streetaddres
浏览 21
提问于2019-02-28
得票数 0
1
回答
如何
将
FlowFile属性写入FlowFile内容中
的
Avro
元
数据
?
avro
、
apache-nifi
我正在创建由FlowFiles处理器发出
的
下游操作和拆分
的
ExecuteSql。我已经用
数据
填充了FlowFiles
的
属性,我想将这些
数据
放入每个FlowFile内容中包含
的
Avro
元
数据
中。我尝试
使用
配置了UpdateRecord处理器
的
AvroReader
和
AvroRecordSetWriter,以及一个带有/canary键
的
属性,该属性应该在<em
浏览 1
提问于2018-01-29
得票数 1
回答已采纳
2
回答
当我创建一个带有“存储为
Avro
”子句
的
hive表时,
AVRO
模式
存储在哪里?
hive
、
schema
、
avro
、
metastore
‘=’hdfs:///user/root/
avro
/schema/user.avsc‘); 创建存储为
AVRO
的
表users_stored_as_
avro
( id INT,name STRING ); 在第一种情况下,users_from_
avro
_schema表
的
元</e
浏览 0
提问于2017-05-30
得票数 14
回答已采纳
1
回答
Avro
Schema:强制
将
值(map,数组)解释为字符串
json
、
avro
、
apache-nifi
我想通过
NiFi
将
JSON转
换为
Avro
。不幸
的
是,JSON有复杂
的
类型作为值,我希望看到它是一个简单
的
字符串!JSON:如何告诉
AVRO
将
"{"FLAG“:"STORED","ACTIVE"}”或"1,
浏览 0
提问于2017-03-30
得票数 0
1
回答
apache转
换为
NiFi
json
、
twitter
、
apache-nifi
、
avro
如何在apache
NiFi
中将JSON转
换为
Avro
?以前
的
版本似乎支持ConvertJSONToAvro。在我看来,现在应该
使用
convertRecord处理器: 例如,
使用
面向记录
的
处理来
使用
JSON树读取器读取JSON并将其写入
Avro
。但是,在哪里/如何
指定
架构呢?特别是对于这样一个复杂
浏览 1
提问于2020-06-11
得票数 0
回答已采纳
1
回答
带有解码器问题
的
Kafka
Avro
消费者
java
、
apache-kafka
、
avro
、
kafka-consumer-api
、
apache-nifi
当我尝试
使用
我各自
的
模式
对
数据
运行时,它返回错误"AvroRuntimeException:格式错误
的
数据
。长度为负:-40“。我看到其他人也遇到过类似的问题:、
和
。它一直运行到这部分代码(第73行)我已经尝试了其他解码器,并打印出了
avro
变量
的
内容,我相信你会期望序列化
的
浏览 0
提问于2016-03-16
得票数 11
回答已采纳
1
回答
Apache ConsumeKafkaRecord_2_6
使用
来自主题
的
消息,其中键
和
值是
使用
汇合
模式
注册表序列化
的
apache-kafka
、
apache-nifi
、
avro
、
dataflow
、
confluent-schema-registry
我正在
使用
nifi
构建一个
数据
流,其设置如下: 我还
使用
处理器ConsumeKafkaRecord_2_6处理来自一个主题
的
消息,在这个主题中,键
和
值都
使用
avro
模式
对键
和
值进行序列化,都存储在汇合
模式
注册表中。但是处理器无法解析消息,因为没有一种方法--我可以
浏览 16
提问于2022-02-18
得票数 0
回答已采纳
1
回答
Kafka
Avro
控制台消费者/制作人从
文件
到
文件
apache-kafka
、
avro
、
confluent-schema-registry
如果我有一个
模式
字符串可以提供给控制台
使用
者
和
生产者,那么是否可以
使用
Avro
控制台
使用
者
将
Avro
编码
的
消息保存到
文件
中,并从该
文件
中读取来写入
使用
Avro
控制台生成器
的
另一个主题?这是一个支持开箱即用
的
用例,还是我需要为它编写一个shell脚本?
浏览 2
提问于2021-11-02
得票数 1
回答已采纳
1
回答
给
avro
和
kafka SourceRecord
的
拼花
文件
java
、
apache-kafka
、
parquet
、
avro
、
apache-kafka-connect
我正在尝试
将
拼花
文件
转换成SourceRecords。我目前正致力于从
avro
模式
生成连接
模式
。(avroSchema, avroValue)连接
数据
时。com.tryg.data.ingestors.guidewire.factories.SchemaTest.main(SchemaTest.java:102) AvroParquetReader生成
的
avro
我在AvroData代码中进行了调试,发现问题是AvroData希望在标记为***
的
浏览 11
提问于2022-10-07
得票数 0
回答已采纳
1
回答
使用
一个
Avro
文件
中
的
两个
模式
更新
avro
模式
hdfs
、
avro
、
spark-avro
、
confluent-schema-registry
我有一个带有第一个
模式
的
avro
文件
,然后我更新了附加到同一
文件
的
模式
。所以现在我在一个
文件
中有两个
模式
。
avro
是如何处理这种情况
的
。我是否会在
文件
中添加任何新字段,或者在读取此
数据
时会丢失任何
数据
。这是一个实时流应用程序,我在其中将
数据
写入hdfs。我
的
上游系统可能会更新
模式
,但hdfs编
浏览 0
提问于2017-11-06
得票数 0
1
回答
Nifi
:流内容(动态json格式)到csv
json
、
apache
、
csv
、
apache-nifi
、
apache-minifi
我有一个案例:在流内容中,总是json格式
的
和
,json中
的
数据
总是改变( kyes
和
values)。是否可以将此流内容转
换为
csv?非常感谢,
浏览 0
提问于2018-09-26
得票数 0
1
回答
将
镶木地板转
换为
Avro
avro
、
parquet
我看到了许多关于如何
将
Avro
文件
转
换为
Parquet
的
示例,其中Parquet在其
元
数据
中保留了
Avro
模式
。 然而,我很困惑是否有一些简单
的
方法来做相反
的
事情--
将
拼图转
换为
Avro
。有这样
的
例子吗?
浏览 0
提问于2016-04-01
得票数 2
2
回答
用
NIFI
从JSON编写
AVRO
固定类型
json
、
apache-nifi
、
avro
我正在尝试
将
包含JSON
的
NiFi
流
文件
转
换为
AVRO
。目前我
使用
的
是转换处理器。
AVRO
输出
模式
: "type" : "record", "name&
浏览 1
提问于2019-10-15
得票数 0
回答已采纳
1
回答
如何
使用
ConvertRecord
和
CSVRecordSetWriter输出Apache
NiFi
中
的
头(没有
数据
)?
csv
、
apache-nifi
我正在
使用
Apache
NiFi
从
数据
库表中提取
数据
,并
使用
ConvertRecord
使用
AvroReader
和
CSVRecordSetWriter
将
获取
的
记录从
avro
更改为CSV
文件
。当至少有一行从
数据
库返回时,我
的
进程可以正常工作。但是,当ExecuteSQL处理器输出包含0条记录
的
FlowFile时( FlowFile仍然包含
元<
浏览 0
提问于2018-09-13
得票数 0
回答已采纳
1
回答
通过火花流或水槽
将
Xml转
换为
Avro
,从Kafka转
换为
hdfs
apache-spark
、
apache-kafka
、
spark-streaming
、
avro
、
spark-avro
我想将xml
文件
转
换为
avro
。
数据
将
采用xml格式,并将首先触及kafka主题。然后,我可以
使用
水槽或火花流吞食
和
转换从xml到
avro
,并在hdfs中
的
文件
。我有cloudera环境。当
avro
文件
命中hdfs时,我希望以后能够将它们读入蜂窝表。 我想知道做这件事最好
的
方法是什么?我已经尝试过自动
模式
转换,比如星星之火-
avro</e
浏览 1
提问于2016-05-31
得票数 0
回答已采纳
1
回答
如何
将
数据
从CSV加载到Hive外部表(
Avro
格式)?
hadoop
、
hive
、
avro
、
large-files
、
beeline
我试图构建一个直线脚本,
将
存储在HDFS中
的
CSV
文件
加载到Hive中
的
外部表中。首先,我创建一个空
的
外部表:(column string)LOCATION '我已经用以下内容
将
CSV
文件
加载到HDFS中:现在,我想将这个CS
浏览 4
提问于2020-12-01
得票数 1
1
回答
在SparkSQL中
使用
Avro
模式
和
Parquet格式进行读写
apache-spark
、
apache-spark-sql
、
avro
、
parquet
我正在尝试从SparkSQL中写入
和
读取镶木面板
文件
。出于
模式
演变
的
原因,我希望在写入
和
读取时
使用
Avro
模式
。但是,我想
使用
SparkSQL
的
write()
和
read()方法(它们与DataFrameWriter
和
DataFrameReader一起工作),它们与SparkSQL很好地集成在一起(我
将
编写
和
读取DatasetSparkSQL拼接格
浏览 1
提问于2017-01-04
得票数 5
1
回答
带有不正确字段类型
的
BigQuery
Avro
加载作业
google-bigquery
、
avro
我正在
使用
node.js: 我
的
问题是,即使我在创建加载作业时设置了useAvroLogicalTypes,我
的
日期
数据
也永远不会正确地以TIMESTAMP
浏览 5
提问于2019-12-30
得票数 1
回答已采纳
1
回答
从流
文件
内容中提取多行内容
apache-nifi
、
hortonworks-data-platform
、
hortonworks-dataflow
我从MySQL表中导入
数据
(仅针对选定
的
列),并将其放入HDFS中。一旦完成,我想要在Hive中创建一个表。为此,我有一个schema.sql
文件
,其中包含整个表
的
CREATE语句,我只想为导入
的
列生成新
的
CREATE语句。 我
和
FetchFile一起
使用
ExtractText,但无法使它工作。如果我
将
整个
模式
放入属性中,那么如何
浏览 0
提问于2018-09-23
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache Spark 2.4 内置的 Avro 数据源实战
Spark 2.4 原生支持了avro,别再引用第三方库了
如何将kafka中的数据快速导入Hadoop?
深入理解Kafka Connect:转换器和序列化
分布式日志收集框架Flume学习笔记
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券