我正在尝试使用to_avro()函数来创建Avro记录。但是，我不能对多列进行编码，因为一些列在编码后就会丢失。(col("struct")).as("value")) .collectentity_type",
"type" : "s
浏览 23提问于2020-12-08得票数 0
我使用Kryo编码器将GenericRecords编码成一个火花DataFrame，并将数据写入一个Avro文件。此记录不在我现有的模式中，我认为它是在我使用spark编写时创建的。我想知道是否/如何从avro文件中删除它。
浏览 0提问于2018-07-10得票数 2
2回答
我正在努力理解Avro，Kryo和Parquet在Spark的背景下到底做了什么。它们都与序列化相关，但我见过它们一起使用，所以它们不能做同样的事情。或者它们只在spark工作期间相关，即。用于在混洗或溢出到磁盘期间通过网络发送对象？Arvo和Kryo有什么不同?当你一起使用它们时会发生什么？
浏览 3提问于2015-06-14得票数 8
如何在Spark Streaming 2.3.1中将每条记录写入多个kafka主题？换句话说，我有5条记录和两个输出kafka主题，我希望在两个输出主题中都有5条记录。问题没有谈到结构化的流媒体案例。我正在寻找结构化流媒体的具体。
浏览 16提问于2018-07-23得票数 1
我正在学习用avro序列化数据。我想序列化一个更大的数据集。有没有人能告诉我如何在不硬编码GenericRecordbuilder的情况下遍历更大的数据集？我只想读取一个Json文件，并将所有数据添加到一个记录中，然后我想对Json数据进行编码。val obj = new GenericRecordBuilder(schema) .set("ID", 2)这里我想加载一个<em
浏览 0提问于2019-07-09得票数 0
1回答
既然Spark2.4已经内置了对Avro格式的支持，我正在考虑更改我的数据湖中的一些数据集的格式--那些通常是针对整行而不是特定列聚合而被查询/连接的数据集的格式--从Parquet到Avro。然而，大部分数据上的工作都是通过Spark完成的，据我所知，Spark的内存缓存和计算都是在列式数据上完成的。在这方面，Parquet是否提供了性能提升，而Avro将招致某种数据“转换”处罚？
浏览 0提问于2018-12-01得票数 5
回答已采纳
我使用Flink生成数组数据，以供其他应用程序使用。(对于数组，我不需要任何方法)我比较了Flink生成的二进制数据和文本数据，并在二进制数据中发现了一个奇怪的数据。bin_output_format.setWriteMode (WriteMode.OVERWRITE)
tuple_pai
浏览 1提问于2016-02-07得票数 0
回答已采纳
1回答
我正在尝试寻找一种在Java中使用目录结构序列化数据的方法。我要保存的数据是股票交易记录，每个记录都由股票名称、价格、时间和成交量组成。我知道如何在没有任何层次结构的情况下序列化这样的记录( "Trade“类的实例)，但在阅读时，我必须遍历所有记录，比如说数十亿条记录来收集单个特定股票的数据。我知道您可以在HDF5中创建这样的分层结构(目录)，但我正在寻找一种不使用JNI且对HDFS更友好的Java序列化库。经过一些在线搜索
浏览 0提问于2014-12-28得票数 0
1回答
更新结构数组-火花
、、、、
我有以下星火三角表结构，|id |addresses", "Street": "YYY"}]|在这里，addresses列是一个结构数组我需要从"Street“属性值中将第一个地址更新为"XXX"，而不需要更改列表中的
浏览 4提问于2020-06-23得票数 0
回答已采纳
10回答
我正在使用一个卡夫卡源在星火结构化流接收汇合编码的阿夫罗记录。我打算使用，但与火花结构化流的集成似乎是不可能的。
我已经看到了这个问题，但无法让它与合流模式注册表一起工作。
浏览 0提问于2018-02-20得票数 28
回答已采纳
列是棘手的，因为有时它的字符串，但在许多情况下可以是结构。我只想考虑列是struct的时间，并为它提取所需的信息。假设这个例子：annoyingCol.data等于字符串或结构，以避免出现像这样的错误：need struct type butannoyingCol.data.my_data else null end我试过了 import org.apache.spark<
浏览 0提问于2018-05-23得票数 2
1回答
我正在为音乐应用工作，因为其中一个功能是录制用户的声音和播放相同的。到目前为止，一切都在控制之中。昨天我想到了一个想法，我马上就开始在谷歌上搜索，我的想法是使用AVAudioRecorder在我录制的音频中添加艺术家的名字和专辑图像，但没有取得多大的成功。
浏览 1提问于2013-05-10得票数 1
2回答
如何在WPF中将元素的宽度从0动画化为其实际宽度？</Storyboard> </EventTrigger>如果我将绑定更改为硬编码值，如100，则宽度将被正确地设置为动画，除非我希望绑定到元素的实际宽度。对于记录，这也不起作用：
To="{Binding RelativeSource={R
浏览 0提问于2012-06-12得票数 7
回答已采纳
3回答
默认情况下，我正在尝试将spark写入HDFS。目前，当我在RDD上调用saveAsTextFile时，它会写入我的本地文件系统。有没有一种方法可以配置或初始化spark默认情况下会保存到HDFS吗？
浏览 0提问于2017-11-28得票数 1
为了简单起见，我减少了只写一个字段的记录。该字段是一个可以为空的字符串。在Avro中，这意味着字段是可选的。字段的空方面是通过Avro联合来完成的，按照惯例，在该字段的模式中，null值位于第一位。到目前为止，我从大量的尝试和错误中学到了什么：
，您需要在模板化的codec_traits结构中为要写入的记录提供编码器和解码器。这通常是在某个头文件中定义的。在您的C++代码中使用加载的模式声明一个avro::DataFileWriter，并从前面提到的标题中声明一个<em
浏览 0提问于2020-07-08得票数 3
我们不希望手动同步和维护这些协议，而是以通用的方式定义这些协议的消息结构，并通过这些定义生成模型、解析器和序列化器。例如，如果我要对0xFF的常量字节值进行编码，这将是一个问题。
2)这些服务似乎更侧重于服务和使用的模型。同样的限制似乎也适用于Protobuf:我对传输格式没有完全的控制。3) DFDL似乎正是我想要的，因为我想要一种语言来描述我的数据格式.不幸的是，我可以找到像Daffodil这样的项目，它们似乎能够使用DFDL定义将任何数据格式解析成某种XML (如Dom结构)。还看了Avro
浏览 0提问于2019-01-09得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
