我正在为json编写一个数据集，使用：对于包含null值的列的记录，json文档根本不会写入该键。有没有办法强制对<e
浏览 4提问于2017-07-21得票数 7
，并能够将所有字段(包括数据中缺失的字段)填充为NULL。因为，对于某一天的负载，可能会发生这样的情况:在struct字段的book数组中，任何输入数据都没有author列。 因此，如果我不使用模式，spark将无法推断该列，因为任何输入数据都没有该列。这是
浏览 22提问于2020-09-13得票数 2
我试图用Schema加载JSON文件，但是模式的列都是小写的，而JSON文件中的键不是小写的，所以加载的数据是空的。我可以使用推断出的模式加载文件，但这不是一个选项。我也尝试过设置spark.sql.caseSensitive=true，但它不起作用，而是将
浏览 21提问于2020-04-21得票数 1
我有一个包含多个具有不同模式的空值的DataFrame+----+----+----+----++----+----+----+----++----+----+----+----+
我尝试将此数据帧作为JSON文件写入HDFS，但Spark在写入JSON时省略了为空的<
浏览 50提问于2020-02-27得票数 3
1回答
如何将选定的专栏写到卡夫卡主题？
、、、、
我使用的是星星之火-SQL2.4.1v和java1.8。: Required attribute 'value' not found; at scala.Option.getOrElse(Option.scala:121)
我试图按下面的方式进行修复，但无法发送值，即，在我的示例中，哪个值是java bean。queryComapanyRe
浏览 6提问于2019-11-25得票数 1
回答已采纳
，但对于我所拥有的数据集大小，似乎要花费很长的时间。对于较小的数据集，它工作得很好。对于较大的数据集来说，使用collect()函数代替rdd转换显然要糟糕得多。是否有一种方法可以进行类似于.withColumn()性能方面的空值转换，而不需要RDD转换，代码中没有显式的列名规范？列排序已经在源和目标之间对齐。附加上下文：我之所以需要这样做，是因
浏览 1提问于2021-12-27得票数 0
回答已采纳
1回答
在spark-scala中，我需要使用嵌套结构的json文件来创建数据帧我有一个具有复杂嵌套结构的json输入。每天都有可能一些键在任何记录上都不可用(键是可选的)，键的.some可能不会出现在day1上，可能会出现在day2中，但我希望得到一个通用的输出，其中所有列都期望ins
浏览 1提问于2019-10-01得票数 0
我正在使用Pyspark在Dataframe中转换JSON。我能够成功地改变它。但我面临的问题是，有一个键将出现在一些JSON文件中，而不会出现在另一个文件中。当我使用Pyspark SQL上下文展平JSON时，某些JSON文件中不存在键，它在创建Pyspark数据框时出错，抛出SQL分析异常。例如，我的示例JSON
浏览 0提问于2020-05-14得票数 1
2回答
我想通过Apache从Apache检索行，并将每一行放到Aerospike缓存中。 aerospikeClient.add( new Bin( row.json() );我收到一个错误：
Caused by: java.io.NotSerializab
浏览 8提问于2022-02-01得票数 2
回答已采纳
在spark批处理作业中，我通常会将JSON数据源写入到一个文件中，并且可以使用DataFrame阅读器的损坏列功能将损坏的数据写出到不同的位置，并使用另一个阅读器从同一作业中写入有效数据。(数据写为拼接) 但在Spark Structred Streaming中</
浏览 34提问于2018-12-27得票数 1
回答已采纳
2回答
在尝试用空值替换Spark dataframe的特定列的值时，我遇到了一个问题。我有一个超过50列的数据帧，其中两列是键列。我想创建一个具有相同模式的新数据帧，并且新数据帧应该具有来自键列的值和非键列中的
浏览 18提问于2018-08-29得票数 1
回答已采纳
3回答
我遇到了一个问题，我在S3中将拼图数据作为每日数据块(以s3://bucketName/prefix/YYYY/MM/DD/的形式)，但我无法从不同的日期读取AWS EMR Spark中的数据，因为一些列类型不匹配JSON数据也被划分为日期，即键具有日期前缀。读取JSO
浏览 0提问于2016-12-02得票数 24
回答已采纳
当将dataframe写入增量格式时，由此产生的增量似乎不遵循所编写的dataframe的架构。具体来说，字段的'nullable‘属性在结果的增量中似乎总是'true’，而不管源dataframe模式如何。这是意料之中的还是我在这里犯了一个错误？是否有一种方法可以使所编写的增量的模式与源df完全匹配？scala> df.schema
r
浏览 1提问于2020-05-19得票数 0
回答已采纳
我正在创建一个spark，其中模式是从json records.But推断出来的，其中一些json数据集的行比其他行有更多的列，因此数据格式解析失败。我是否可以将空值替换为缺少的额外列的记录。pre_processed_raw_event_data_df = sqlContext.createDataFrame
浏览 2提问于2017-10-31得票数 0
1回答
我有一个火花作业(在CDH5.5.1中)，它加载两个Avro文件(都具有相同的模式)，将它们组合成一个DataFrame (也使用相同的模式)，然后将它们写回Avro。作业显式地比较两个输入模式，以确保它们是相同的。
这用于将现有数据与一些更新结合起来(因为这些文件是不可变的)。然后，通过在HDFS中重命名原始文件，将原始文件替换为新的组合文件。
浏览 2提问于2016-07-26得票数 1
2回答
我正在处理来自非常长的嵌套JSON文件的数据。问题是，这些文件的结构并不总是与其他文件的列相同。我希望从包含所有列的空JSON文件中创建一个自定义模式。如果我稍后将JSON文件读入这个预定义的模式中，则不存在的列将被<em
浏览 7提问于2021-10-26得票数 3
回答已采纳
propertyname":"properttwo",
"propertyvalye": 8}]}] 我能够在databricks中加载文件并对其进行解析，从而获得一个名为properties的列，其中包含数据中的数组。下一步是展平这一列，并为数组中的每个对象获取一列，其中包含来自属性名称和值的名称。在databricks中有没有什么本机<
浏览 20提问于2019-11-27得票数 2
回答已采纳
rdd：正如您从输入格式中看到的，我必须获取原始数据集并迭代所有键，使用send函数调用发送每个键/值对。阅读spark streaming编程指南中的“使用foreachRDD的设计模式”一节
在数据集之外做一些事情时，似乎建议使用<
浏览 2提问于2016-05-28得票数 1
1回答
$$anon$1.run(StreamExecution.scala:193)的FileStreamSource由: org.apache.spark.sql.AnalysisException: Required(KafkaWriter.scala：87)在org.apache.spark.sql.kafka010.KafkaSink.addBatch(KafkaSink.scala:38)
try {
df_
浏览 0提问于2019-11-15得票数 2
我还拥有10K JSON文件，驻留在一个Spark可以访问的文件系统上： some/ data00001.json我希望将所有这些JSON文件读入一个大型的Dataset中，并在此过程中向这个数据集添加两个新列(在JSON文件中不
浏览 0提问于2017-08-01得票数 8
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
