我有一个数据集 case class MyDS ( id: Int, name: String ) 我希望在不使用collect的情况下获取序列中的所有名称。有没有更好的方法可以不用collect来做这件事 下面是我运行的代码，它可以编译，但由于内存问题而出错 ds.collect().map(x => x.name) 我是Scala的新手，因此一些人可能会认为这个问题很愚蠢
浏览 98提问于2019-06-27得票数 0
如何创建具有给定精度的BigDecimal的spark数据集？请参见spark shell中的以下示例。您将看到，我可以创建具有所需BigDecimal精度的DataFrame，但无法将其转换为Dataset。= StructType(Seq(StructField("dec", DecimalType(38, 0))))
scala> val highPrecisionDf = spark.createDataFrameor
浏览 73提问于2019-11-14得票数 2
回答已采纳
4回答
如何将火花数据文件中的所有列名输入到Seq变量中。输入数据与模式
val dataset1 = Seq(("66", "a", "4"), ("67", "a", "0"), ("70", "b", "4"), ("71", "d", "4")).toDF: string (nullab
浏览 9提问于2017-10-15得票数 25
回答已采纳
下面是一个示例火花代码，它将Seq转换为Datasetval s = Seq(1, 2, 3, 4)ScalaSeq没有toDS方法，它来自于Spark。数据集是如何在这里创建的？
编辑:我确实看过其他答案，但没有看到一个例子，这将解释如何在s.toDS中使用隐式。我参考了注释中的示例回答。
浏览 0提问于2017-09-16得票数 3
回答已采纳
我有一个带有id - (Int)和tokens - (array<string>)列的Spark (Scala)：0,["a","b","c"]...假设我能够通过SparkSession检索数据并转换为case类：获取</
浏览 0提问于2018-12-12得票数 0
回答已采纳
1回答
如何将选定的专栏写到卡夫卡主题？
、、、、
.start();
提供错误: at org.apache.spark.sql.kafka010.KafkaWriter$$anonfun$6.apply(KafkaWriter.scala:71)
at org.apache.<e
浏览 6提问于2019-11-25得票数 1
回答已采纳
1回答
要使用spark.read.json阅读，我没有发现任何可以提供请求参数的内容。我们还能用它吗？通常，我只使用scalaj-http和play-json库使用Scala读取JSON，如下所示： .postData(body.toString()) 我的要求是，我不能使用这两个库，必须使用scala和<
浏览 2提问于2019-12-02得票数 1
回答已采纳
我有像下面这样的文本格式的输入数据。我需要在spark Scala中将其转换为Decimal。请帮我看一下cast(DecimalType)语句。
浏览 1提问于2020-06-02得票数 0
1回答
从json(动态模式)读取数据，并将其加载到dataframe。示例数据帧：import spark.implicits._
(1, "ABC")ABC|| 3| GHIJ|要求:列数和名称可以是任何值。我想在循环中读取行，以逐个<
浏览 6提问于2020-06-04得票数 0
回答已采纳
我有下面两个不同模式的数据集。-> dataset1我想用下面的模式创建另一个数据集：即schema3数据集包含来自模式2数据集的第一列-c和来自模式1<em
浏览 9提问于2020-05-08得票数 0
回答已采纳
在DataFrameNaFunctions中，我使用replace函数将数据格式中的列的值替换为Map中的列。当使用RDD.collect()将数据转换为Map时，.toMap(如下面所示)可以很好地工作，我将其称为方法1。= [col1: int, col2: string ... 13 more fi
浏览 4提问于2021-02-24得票数 1
回答已采纳
1回答
我希望获取列的所有元素，并将它们转换为Scala Seq。rawData.map(x => x(0)).toSeqError:(114, 40) value toSeq is not a member of org.apache.spark.rdd.RDD如何将其转换为Seq
浏览 3提问于2016-07-12得票数 1
回答已采纳
在Spark中选择这些对象时，它们是DataFrame中的贴图/数组对象。当我使用Spark的HiveContext时，我想使用与Hive客户端相同的格式。
我该怎么做呢？
浏览 1提问于2018-07-20得票数 0
1回答
我这样做如下所示： rdd. r.getDouble(4), r.getAs(_).toDouble(70).toArray,我收到以下错误：
<console>:22: error: missing parameter type f
浏览 0提问于2017-06-28得票数 1
从MS SQL数据库导入数据时，可能会出现空值。在Spark中，DataFrames能够处理空值。但是，当我尝试将DataFrame转换为强类型Dataset时，收到编码器错误。._No Encoder found for Any
- field
浏览 2提问于2017-03-31得票数 0
但是当spark看到标签使用E将其转换为不同格式时是原来的两倍{"key" : "k1", "value": "86093351508521808.0"} SQLContext sqlCtx = sparkSession.sqlContext();
System.out.println("<e
浏览 0提问于2017-10-27得票数 0
我想对dataframe中的列进行更改。列是整数的数组。我想替换数组的一个元素，从另一个数组中获取索引，并将该元素替换为来自第三个数组的元素。示例:我有三个列-- C1、C2、C3 --这三个数组。我编写了以下UDF：
def UpdateHist = udf((CRF_count: Seq[Long], Day: Seq[String], History: Seq[Int])=> for(i <withColumn("Histo
浏览 0提问于2018-07-02得票数 0
回答已采纳
1回答
我正在使用Scala绑定创建一个Spark应用程序。但是我的一些模型(类)是用Java编写的。当我试图创建一个基于Scala的数据集时，它工作得很好，当我执行show()时，所有的列都是可见的。但是，当我创建一个基于Java的数据集时，所有的列都打包在一个名为value的列中。Scala案例类示例：处决：
sqlC
浏览 1提问于2019-07-31得票数 2
回答已采纳
2回答
( 1)在这里，我选择特定的列，以便在下一个查询中通过ISIN2)我的样本数据： +----------+[manager_id: bigint]
我也尝试过转换为List和Seq，但是它只生成一个错误。与下面一样，当我尝试转换为Seq</em
浏览 0提问于2018-10-02得票数 3
回答已采纳
假设我有两个数据集，如下所示 case class Book(book_name: String, cost: Int, writer_id:Int) Book("Scala", 400, 1), Book("Kafka", 300, 3),Write
浏览 1提问于2020-10-09得票数 0
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
