腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
我
可以
从
AVRO
架构
中
删除
am
元素
吗
avro
我
可以
从
我
的
AVRO
架构
中
删除
一个
元素
吗
,请看下面的枚举,
我
可以
删除
它
吗
?原因是
我
想添加一个列表类型,它
可以
从
同一个枚举
中
获取多个值。
浏览 13
提问于2019-05-03
得票数 0
回答已采纳
3
回答
如何在IntelliJ中加载
avro
模式?
scala
、
intellij-idea
、
avro
我
从
github克隆了一个项目,现在在IntelliJ中将其作为项目打开。该项目是用Scala编写的。如何在
我
的IntelliJ项目中加载
avro
*.advl模式/文件? 以便在
avro
架构
中
定义的对象类型在项目的其余部分
中
是已知的。IntelliJ能识别<
浏览 0
提问于2015-12-11
得票数 6
1
回答
是否
可以
更改Hive
中
已分区表上的列的元数据?
sql
、
hadoop
、
hive
、
cloudera
、
hive-metastore
这是
我
之前问过的一个问题的延伸:注意:
我
作为一个单独的问题来问这个问题,因为原来的答案似乎是分区表上的一列,也就是分区列。所以,
我
不想把水弄浑。CASCADE命令,但得到了以下错误: 处理语句时出错:失败:执行错误,
从
org.apache.hadoop.hive.
浏览 0
提问于2019-10-11
得票数 1
回答已采纳
2
回答
BigQuery自动检测模式和创建表,在apache_beam中发生流作业时
google-bigquery
、
google-cloud-dataflow
、
apache-beam
、
apache-beam-io
我
有一个信息流进来,想要将它们记录在BigQuery
中
,但问题是用户
可以
在启动apache_beam作业之前定义一个新的表名。此外,流
中
的
架构
可以
更改超时。
我
想知道是否有人使用Python实现了流apache_beam作业的自动表创建和模式更改。
浏览 12
提问于2022-09-27
得票数 0
1
回答
confluent-4.1.1是否支持带有ksql cli的嵌套
avro
?
apache-kafka
、
avro
、
confluent-schema-registry
、
ksqldb
我
正在使用ksql cli开发confluent-4.1.1。
我
是否
可以
在此版本
中
创建嵌套
avro
数据格式的流,就像我在版本5
中
尝试的那样,它工作得很好,但在confluent-4.1.1
中
提到的嵌套
avro
模式
中
找不到有用的链接获取错误- 无法
从
<
浏览 0
提问于2018-10-16
得票数 0
2
回答
当我创建一个带有“存储为
Avro
”子句的hive表时,
AVRO
模式存储在哪里?
hive
、
schema
、
avro
、
metastore
至少有两种不同的方法
可以
创建一个以
Avro
数据为后盾的蜂窝表: 创建表'org.apache.hadoop.hive.serde2.
avro
.AvroSerDe( id INT,name STRING ); 在第一种情况下,users_from_
avro
_schema表的元数据不是存储在Hive
中
,而是
从
读取
avro
文件的SERDE类<em
浏览 0
提问于2017-05-30
得票数 14
回答已采纳
1
回答
Kafka连接接口和
Avro
对象(SourceRecord vs org.apache.
avro
.Schema)
java
、
apache-kafka
、
avro
、
apache-kafka-connect
在
我
的例子
中
,
我
假设基于模式,例如: "namespace": "com.model.
avro
.generated", "name": "
从
第二方kafka connect api要求
从
我
的org.apache.kafka.connect.data.Schema能够创建源连接器的poll()方法返回
浏览 1
提问于2020-02-04
得票数 0
1
回答
如何为Kafka Connect
AVRO
使用Schema注册表
apache-kafka
、
avro
、
apache-kafka-connect
、
confluent-schema-registry
我
在
avro
_schema.avsc
中
存储了一个
AVRO
模式。I
从
JSON在线转换它
吗
?
我
应该把这个模式文件的位置放在什么地方,
我
不确定。请给我指路,然后跟在后面。
我
正在从Lambda函数和JDBC源发送记录。还是这是注册模式的正确方
浏览 1
提问于2020-01-06
得票数 3
2
回答
如何将apache用于动态数据?
java
、
c++
、
avro
我
想使用Apache来序列化
我
的数据,
我
的客户机是用C++编写的,
我
的服务器是用Java编写的。);
avro
::EncoderPtr编码器=
avro
::binaryEncoder();std::auto_ptr<
avro
::OutputStream> oStream =
avro
:memoryOutputStream>();sReord.setFieldAt(
avro
:
avro
::GenericD
浏览 2
提问于2012-11-18
得票数 5
1
回答
使用Beam将
Avro
写入BigQuery
serialization
、
google-cloud-platform
、
google-bigquery
、
avro
、
apache-beam
Q1:假设
我
使用BigQuery加载工具加载
Avro
编码的数据。现在
我
需要将这些数据写入到不同的表
中
,仍然是
Avro
格式。
我
正在尝试测试不同的分区,以便测试表的性能。在这种情况下,模式检测也能工作
吗
? Q2:
从
Avro
schema type转换为
Avro
schema type时,似乎丢失了
架构
信息。例如,在BigQuery
中
,double和float
Avro
浏览 1
提问于2018-06-08
得票数 0
2
回答
Amazon redshift:加载使用BZIP2压缩的
Avro
文件
amazon-redshift
我
有
Avro
文件(使用BZIP2压缩)存储在HDFS和S3
中
,
我
想将它们加载到Amazon Redshift
中
。copy命令会给出一个错误: code: 8001Redshift不支持压缩
Avro
文件
吗</
浏览 0
提问于2016-05-23
得票数 1
2
回答
如何使用
avro
在拼花文件模式
中
创建重复类型?
java
、
google-cloud-dataflow
、
avro
、
apache-beam
、
parquet
下面是
我
的模式: " \"type\": \"recorditems\":{\"type\":\"string\",\"name\":\"json\"}}] },\n" + &q
浏览 0
提问于2019-06-28
得票数 0
回答已采纳
1
回答
Sqoop,
Avro
和Hive
hive
、
sqoop
、
avro
我
目前正在使用
avro
格式的Sqoop
从
Mysql导入HDFS,这很好。但是,将这些文件加载到蜂箱
中
的最佳方法是什么?由于
avro
文件包含模式,所以我
可以
将这些文件拉到本地文件系统
中
,使用
avro
工具并使用提取的模式创建表,但这似乎太过了吗?另外,如果
从
mysql
中
的表
中
删除
了一个列,
我
还
可以
将旧文件加载到一个用新
avro
模式创
浏览 2
提问于2013-04-19
得票数 3
2
回答
Apache NiFi ConvertRecord重命名字段同时将CSV转换为JSON
apache
、
apache-nifi
、
dataflow
我
在CSV文件
中
输入了以下示例数据:WELD-424,Jane Doe,123 Main St,Whereverville设置带有
架构
文本的
avro
.schema属性 如何重命名字段?这需要在ConvertRecord处理器和模式生态系统之外的另一个处理器块
中
完成
吗
浏览 0
提问于2019-01-26
得票数 1
1
回答
对于Apache,Java
中
Union的默认值是多少?
java
、
avro
我
正在尝试设置字段的默认值(使用Java),并且有一个严重的异常: 在org.apache.
avro
.Schema.validateDefault(Schema.java:1542) 如前所述,联合使用JSON数组表示例如," null“、" string”声明了一个模式,该<e
浏览 2
提问于2020-02-06
得票数 0
1
回答
AVRO
文件上的Hive外部表只为所有列生成空数据
hadoop
、
hive
、
avro
、
spark-avro
、
hive-table
我
试图在一些使用Hive external table生成的
avro
文件的基础上创建一个spark-scala。
我
使用的是CDH 5.16,它有hive 1.1,spark 1.6。但是
我
在这个位置找不到这些
avro
文件的
架构
文件。df.write.mode(SaveMode
浏览 1
提问于2019-07-17
得票数 2
回答已采纳
3
回答
avro
gradle插件用法示例
hadoop
、
gradle
、
avro
我
正在尝试使用,但没有任何运气让它工作。有没有人有关于如何让它工作的示例代码?
浏览 0
提问于2012-11-13
得票数 10
回答已采纳
1
回答
如果某些邮件未进入数据库,是否
可以
将数据重新摄取(接收器连接器)到数据库
中
apache-kafka
、
apache-kafka-connect
、
confluent-schema-registry
目前,
我
设置了两个独立的连接器,运行JDBC Sink Connector来摄取生产者生成的主题,并将其读入数据库。有时,
我
在日志中看到错误,这会导致生成的消息无法存储到数据库
中
。' not found; error code404
我
想知道,如果这种情况经常发生例如,如果消息是在12
am
-1
am
之间产生的,并
浏览 22
提问于2021-10-29
得票数 0
2
回答
无密钥模式的
Avro
生成器发送密钥
python
、
apache-kafka
、
avro
、
kafka-producer-api
我
在Python2.7
中
使用
Avro
Producer。
我
需要发送带有键和值的消息,该值在主题中有
Avro
-Schema,但是键没有
Avro
-Schema (由于密钥遗留的原因,
我
不能添加Schema )。:confluent_kafka.
avro
.serializer.KeySerializerEr
浏览 6
提问于2020-08-25
得票数 0
回答已采纳
1
回答
当记录丢失字段时,
Avro
架构
问题
avro
、
apache-nifi
我
使用的是NiFi (v1.2)处理器ConvertJSONToAvro。
我
无法解析只包含" record“类型
中
的2个
元素
中
的一个的记录。还允许
从
数据
中
完全丢失此
元素
。
我
的
Avro
架构
不正确
吗
?null", ] ]] 如果“人员名称”同
浏览 0
提问于2017-11-03
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
“事件驱动架构”Kafka中的模式注册表和模式演化
深入理解Kafka Connect:转换器和序列化
深入思考Schema管理的几个基本问题
Hadoop进级教程之-Flume架构原理
你缺的不是收藏而是藏经阁——那些好用的收藏夹整理插件/网站
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券