如何在Map数据结构中转换Spark Scala嵌套Map？

文章/答案/技术大牛

发布

1回答

scala、apache-spark

我想使用Scala case类的数组编写一个嵌套的数据结构，该结构由另一个Map中的Map组成。结果应该会转换此数据帧： |Value|Country| Timestamp| Sum|| 123| ITA|1475600500case class Record(value: Integer, attributes: Map[String, Map[Strin

浏览 22提问于2020-04-23得票数 1

2回答

在scala中将字符串转换为简单的JSON

json、string、scala

我在scala中有一个字符串，就格式而言，它是一个json，例如但是当我生成这个值时，它本质上是一个字符串。我需要将此字符串转换为json，但不能更改源的输出。那么，我如何在Scala中进行这种转换呢？(我不能使用剧本Json库。)

浏览 5提问于2017-06-10得票数 0

回答已采纳

4回答

如何读取Spark中的嵌套集合

apache-spark、apache-spark-sql、nested、parquet、lateral-join

我有一张镶木镶木桌上有一根柱子在Spark文档中找不到任何与此相关的引用。提前感谢您提供的任何信息！ ps。我觉得在谈判桌上提供一些统计数据可能会有所帮助。主表中的列数约为600。行数~200m。嵌套集合中的“列”数~10

浏览 191提问于2015-05-03得票数 19

回答已采纳

1回答

当我使用选项时，Scala from_json函数正在抛出错误

json、scala、apache-spark、apache-spark-sql

<and> (e: org.apache.spark.sql.Column,

浏览 7提问于2022-03-03得票数 0

回答已采纳

2回答

spark dataframe修剪列和转换

scala、apache-spark

在Scala / Spark中，如何将空字符串，如“"，转换为"NULL”？需要先修剪它，然后再转换为"NULL“。谢谢。dataframe.na.replace("cut", Map(" " -> "NULL")).show //wrong

浏览 1提问于2016-11-06得票数 8

回答已采纳

1回答

Derby的另一个实例可能已经启动了数据库/home/cloudera/metastore_db

scala、apache-spark、hive、spark-dataframe

我正在尝试使用Spark将普通文本文件加载到配置单元表格中。我使用的是Spark版本2.0.2。我已经在Spark version: 1.6.0中成功地做到了这一点，我正在尝试在version 2x中做同样的事情，我执行了以下步骤： import spark.implicits._ 到目前为止没有任何问题。但是当我尝试将文件加载到

浏览 62提问于2017-07-03得票数 0

1回答

影响preservesPartitioning RDD真/假给出了相同的mapPartitions结果

apache-spark、rdd、partitioning

import org.apache.spark.HashPartitionerdef myfunc(iter: Iterator[(String,(Int, String))]) : Iterator[(String, (Int,String))] = {}val rdd1 = sc.parallelize(1 to 9).map(x

浏览 0提问于2020-01-02得票数 2

回答已采纳

1回答

如何将rdd行中嵌套对象转换为自定义对象

scala、apache-spark、rdd

我正在尝试学习一些scala/spark，并尝试使用一些基本的spark集成示例进行练习。所以我的问题是我有一个在本地运行的Mongo db。我正在提取一些数据，并从中生成rdd。db中的数据结构如下： { "name": "aimee Zank", { "score":*]").

浏览 19提问于2019-09-03得票数 0

2回答

为什么使用编码器比java序列化快得多？

apache-spark、serialization、spark-dataframe、apache-spark-encoders

为什么使用编码器比java和kryo序列化快得多？

浏览 5提问于2018-05-05得票数 1

回答已采纳

1回答

spark:将结构/字典转换为结构/字典的数组

scala、apache-spark、apache-spark-sql

我的spark sql和scala代码： s""" |FROM default.table var grouped_df = df.withColumn("map", struct("a", "b", "

浏览 15提问于2019-08-17得票数 1

1回答

spark dataframe根据条件从多列中选择值

apache-spark、apache-spark-sql

nullable = true) |1 |["x","y","z"]|[123,"null","null"]|结果：(需要col1和col2类型的数

浏览 3提问于2019-11-25得票数 0

1回答

Spark如果使用DataFrameNaFunctions ()创建映射，则来自RDD.collectAsMap的替换函数无法工作。

scala、apache-spark、apache-spark-sql

在DataFrameNaFunctions中，我使用replace函数将数据格式中的列的值替换为Map中的列。 Map的键和值可以作为分隔文件使用。它们被读取到RDD中，然后转换成一对RDD并转换为Map。有简单的方法将这个scala.collection.Map转换成scala.collection.immutable.Map，这样就不会产生这

浏览 4提问于2021-02-24得票数 1

回答已采纳

1回答

spark-cassandra-connector -从Dataframe创建表格- StructType？

apache-spark、cassandra、spark-cassandra-connector

我正试着从Spark数据帧中写给Cassandra。当我有一个简单的数据帧模式时，如示例中所示，它可以工作： |-- id: string (nullable = true) at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala

浏览 4提问于2016-06-27得票数 1

1回答

如何引用星火sql查询中的映射列？

apache-spark、apache-spark-sql、spark-structured-streaming

scala> val map1 = spark.sql("select map('p1', 's1', 'p2', 's2')")scala> map</e

浏览 8提问于2020-09-28得票数 1

回答已采纳

4回答

如何将Java地图转换为在Scala中使用？

java、scala、type-conversion、scala-java-interop

我正在开发一个Scala程序，它从Java库中调用一个函数，处理结果，并输出一个CSV。所讨论的Java函数如下所示：Scala： def analysisAndCsvStuff(data: Map[String, Map[S

浏览 2提问于2013-06-11得票数 5

回答已采纳

2回答

火花:统计摘要

scala、apache-spark

我正在尝试使用星火汇总统计数据，如：所述import org.apache.spark.mllib.linalg.Vectorobservations: org.apache.spark.rdd.RDD[org.apache.spark.mllib.linalg.DenseVec

浏览 3提问于2015-01-23得票数 1

回答已采纳

1回答

使用列比例列表进行Spark选择

scala、apache-spark

我正在尝试找到一种使用List[ column，我正在分解一个列，而不是用我的分解列传回所有我感兴趣的列]来进行spark select的好方法。

浏览 0提问于2016-10-07得票数 9

回答已采纳

2回答

将Spark* Dataframe转换为Scala *Map集合

apache-spark、dataframe、apache-spark-sql

我正在尝试找到将整个Spark数据帧转换为scala Map集合的最佳解决方案。最好的说明如下：val df = sqlContext.read.json("examples/src/main/resources/people.json")-----++----+-------+| 30| Andy| | 19| Jus

浏览 2提问于2016-04-28得票数 13

回答已采纳

4回答

在Spark流SQL中解析嵌套JSON字符串列

json、apache-spark、apache-spark-sql、spark-streaming

是否有一种方法可以在spark中完成这一任务，或者使用ObjectMapper解析字符串并将其连接到其他数据中会更容易吗？

浏览 12提问于2016-01-04得票数 4

回答已采纳

1回答

如何在应用转换之前将每个火花输入流中的数据集组合为一个。为此，我希望在执行转换之前将所有DStream合并为一个。现在，它将所有记录写入输出文件。有什么帮助吗？(ClosureCleaner.scala:298) at org.apache.spark.util.ClosureCleaner$.org$apache$spark$util$ClosureCleaner$$clean(ClosureCleaner.scala:288) at org.ap

浏览 2提问于2016-08-08得票数 0

点击加载更多