腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
Spark
生成
无
模式
avro
apache-spark
、
apache-spark-sql
、
avro
、
spark-avro
、
avro-tools
有没有一种方法可以从Apache
spark
生成
无
模式
avro
?我可以通过Java/Scala
使用
apache
avro
库和confluent
avro
生成
它。当我以下面的方式从
Spark
编写
Avro
时,它会创建带有
模式
的
Avro
。我想在没有
模式
的情况下创建,以减少最终数据集的大小。df.write.format("
a
浏览 11
提问于2020-04-21
得票数 0
2
回答
Spark
DataFrame:如何在作为
Avro
编写时指定
模式
apache-spark
、
spark-dataframe
、
spark-avro
我想
使用
提供的
Avro
模式
编写
Avro
格式的DataFrame,而不是
Spark
的自动
生成
模式
。我如何告诉
Spark
在写入时
使用
我的自定义
模式
?
浏览 7
提问于2018-02-21
得票数 2
回答已采纳
2
回答
在Java火花作业中
使用
avro
模式
将
avro
数据写入s3
java
、
apache-spark
、
avro
我想
使用
提供的
Avro
模式
,而不是
Spark
的自动
生成
模式
,以
Avro
格式编写DataFrame。我如何告诉斯派克在写时
使用
我的自定义
模式
?Dataset d1 =
spark
.read() .option("avroSchema",String.valueOf(inAvroSchema)) .format("com.databricks.
spark
.
avro
浏览 0
提问于2020-06-28
得票数 1
2
回答
Avro
模式
引发StructType
java
、
apache-spark
、
apache-spark-sql
、
avro
这实际上与我的相同,但
使用
Avro
而不是JSON作为数据格式。我正在
使用
一个
Spark
dataframe,它可以从几个不同的
模式
版本中加载数据:{"namespace": "com.example.
avro
", .format("com.databricks.
spark
浏览 1
提问于2015-11-25
得票数 7
1
回答
用
Avro
序列化RDD
apache-spark
、
hadoop
、
serialization
、
avro
我们必须提供一个采用任何类型的RDD的功能,
使用
泛型表示法,您可以说是RDD[T],并
使用
Avro
DataFile序列化和保存到HDFS。问题是:我们如何推断
Avro
模式
,并为任何类类型提供
Avro
序列化,以便将其保存为
Avro
数据文件?这个功能实际上已经构建好了,但是它
使用
了Java序列化,这显然会导致空间和时间的损失,所以我们想重构它。我们不能
使用
DataFrames。
浏览 0
提问于2019-03-08
得票数 0
1
回答
在
avro
模式
中表示
spark
`StructType`
apache-spark
、
avro
、
parquet
如何描述
avro
模式
中的
spark
StructType数据类型?我正在
生成
一个拼图文件,其格式在
avro
模式
中描述。然后将该文件从S3加载到
spark
中。
浏览 18
提问于2020-04-06
得票数 0
1
回答
添加带有缺省值的可选列的
AVRO
模式
演进失败反序列化
avro
例如,在阅读
avro
文档时,我了解到
模式
演进是受支持的,如果我添加了带有指定默认值的列,那么它应该是向后兼容的(甚至在我再次删除它的时候)。type": ["null","string"], "doc": "something wrong"并尝试
使用
具有此
模式
的某个主题:290) at org.apache.<e
浏览 0
提问于2019-07-29
得票数 2
1
回答
Java
Spark
-如何从json对象
生成
structType
java
、
apache-spark
、
apache-spark-sql
、
avro
在我的例子中,JSON对象是一个
AVRO
模式
(我在下面截断了它)。
浏览 36
提问于2020-10-14
得票数 2
回答已采纳
1
回答
Scala:读取火花结构化流中的Kafka
Avro
消息时出错
scala
、
apache-spark
、
apache-kafka
、
avro
、
spark-structured-streaming
我
使用
合流卡夫卡库从python
生成
kafka消息。星火流可以
使用
模式
来
使用
消息,但它不能正确读取字段的值。打印
spark
中的
模式
时,奇怪的是字段是可空的,尽管
avro
模式
不允许这样做。再现错误的代码如下: 的问题是,我在python中
使用
confluent_kafka库,我
使用
spark
库读取星火结构流中的
avro
消息。不同之处在于,为了
使用
浏览 0
提问于2020-02-29
得票数 2
回答已采纳
1
回答
HDFS中
Avro
模式
的
生成
hadoop
、
apache-spark
、
avro
、
spark-avro
我有一个场景,我在HDFS.And中有一些
avro
文件集,我需要在HDFS.I中为这些
Avro
数据文件
生成
AVRO
模式
文件。我尝试
使用
Spark
()进行研究。除了将
AVRO
数据文件带到本地并执行HDFS PUT之外,还有其他方法吗? 任何建议都是welcomed.Thanks!
浏览 0
提问于2016-10-14
得票数 0
1
回答
AVRO
文件上的Hive外部表只为所有列
生成
空数据
hadoop
、
hive
、
avro
、
spark-avro
、
hive-table
我试图在一些
使用
Hive external table
生成
的
avro
文件的基础上创建一个
spark
-scala。我
使用
的是CDH 5.16,它有hive 1.1,
spark
1.6。经过一些研究,我发现这可能是
模式
的问题。但是我在这个位置找不到这些
avro
文件的架构文件。df.write.mo
浏览 1
提问于2019-07-17
得票数 2
回答已采纳
1
回答
Spark
SQL :处理
模式
演化
apache-spark
、
apache-spark-sql
、
avro
、
spark-avro
我想要阅读2个
avro
文件,这些文件具有相同的数据集,但具有
模式
演化。第一个
avro
文件
模式
:{String,String,Int} 如何有效地
浏览 1
提问于2017-07-25
得票数 0
3
回答
Kafka
AVRO
-从long转换为datetime
apache-kafka
、
deserialization
、
avro
、
confluent-platform
当我想要发送一条
AVRO
消息,其中包含一个类型为long的字段时,我得到了以下错误:我
使用
Confluent 3.2.0和Apache
Spark
2.2.0。此错误在
Spark
Job中抛出,该作业处理
AVRO
消息并在控制台中打印它们。在
AVRO
模式
中,对应的
浏览 36
提问于2017-12-18
得票数 5
回答已采纳
1
回答
支持
模式
注册表的
Spark
from_
avro
函数
apache-spark
、
confluent-schema-registry
、
spark-avro
我正在尝试
使用
融合
模式
reigstry与火花from_
avro
函数,根据这个doc。" % "5.4.1",from_
avro
(data: Colum
浏览 12
提问于2020-04-25
得票数 1
回答已采纳
2
回答
以编程方式合并两个
avro
模式
java
、
avro
} }, }}Schema s1 = new Schema.Parser().parse(schema1); mergedSchema = AvroStorageUtils.mergeSchema(me
浏览 2
提问于2016-04-10
得票数 10
3
回答
PySpark:反序列化包含在捕获
Avro
文件中的
avro
序列化消息
apache-spark
、
pyspark
、
avro
、
azure-eventhub-capture
捕获
avro
文件中包含的原始事件将
使用
(Py)火花进行分析。 如何
使用
(py)
Spark
反序列化包含在
AVRO
文件的字段/列中的
AVRO
序列化事件?为了更灵活地进行
模式
更改,策略决定是坚持
avro
格式。为了能够
使用
( ASA ),在每个消息中指定
avro
模式
(否则ASA无法反序列化消息)。捕获文件
avro
模式
事件中心捕获特性
生成</em
浏览 0
提问于2018-11-07
得票数 7
1
回答
使用
Apache
Spark
生成
Avro
主题到Kafka
scala
、
apache-spark
、
apache-kafka
、
apache-spark-sql
、
spark-avro
我已经在本地安装了kafka (目前没有集群/
模式
注册表),正在尝试
生成
一个
Avro
主题,下面是与该主题相关的
模式
。考虑创建示例数据,将其转换为dataframe,然后将其更改为
avro
,然后发布。val df =
spark
.createDataFrame(<<data>>) 然后,如下所示: df.write .option("kafka.bootstrap.servers&qu
浏览 9
提问于2019-04-21
得票数 1
1
回答
火花放电不缩放值太大,不适合精确火花
dataframe
、
pyspark
、
avro
我正在尝试用不同的
模式
读取由pyspark编写的
avro
文件。小数列精度的差异。下面是由pyspark编写的
avro
文件夹的文件夹结构/mywork/
avro
_data/day2/part-*day1=
spark
.read.format('
avro
').load(
浏览 4
提问于2020-07-07
得票数 0
回答已采纳
3
回答
如何让
spark
为空拼图输出写一个_SUCCESS文件?
apache-spark
我的一个
spark
作业当前在空输入上运行,因此没有
生成
任何输出。现在还可以,但我仍然需要知道
spark
作业是否运行,即使它没有
生成
拼花输出。有没有办法强迫
spark
写一个_SUCCESS文件,即使根本没有输出?
浏览 30
提问于2016-02-24
得票数 5
1
回答
Avro
架构的序列化程序
apache-spark
、
avro
、
spark-avro
我是
Avro
Schema的新手。我已经基于引用JSON创建了以下
模式
,但我无法为此创建序列化程序。
浏览 24
提问于2021-05-13
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Apache Spark 2.4 内置的 Avro 数据源实战
Spark 2.4重磅发布:优化深度学习框架集成,提供更灵活的流式接收器
Spark 2.4 原生支持了avro,别再引用第三方库了
必应聊天更新:平衡和精确模式皆可使用AI生成图片!
数据湖中的数据格式?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券