从星火中的textFile读取和转换数据
提问于 2019-11-27 06:50:10
我使用scala，我有一个case class Point(x: Double = 0, y: Double = 0)，我正在读取一个textFile val data = sc.textFile("Dataset.txt").flatMap(line => line.split(","))，数据采用以下格式(每个不同的值在文件中用换行符分隔)：
133.559,244.112
88.242,100.222
我希望键是类型为Point，但在拆分后，数字被分开，我不知道如何将每两个数字合并在一起，形成一个点键在RDD中。也许有一种方法可以不分裂地转化它？
谢谢
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-11-27 07:13:39
您不应该使用flatMap：
val rdd: RDD[String] = spark.sparkContext.parallelize(Seq(
"133.559,244.112","88.242,100.222"
))
val result: RDD[Point] = rdd.map{ e =>
val Array(x,y) = e.split(",").map(_.toDouble)
Point(x,y)
}页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/59072808
复制相关文章
](https://ask.qcloudimg.com/http-save/yehe-1207259/ock6csygi9.png)
![ASP.NET 2.0 中的异步页[来自MSDN]](https://ask.qcloudimg.com/http-save/yehe-1177036/s4211bob4p.gif)
腾讯云开发者
