如何对rdd格式的字符串列求和？
如何对rdd格式的字符串列求和？
提问于 2016-11-15 08:16:30
我刚接触spark.I我已经用sc.textFile加载了一个csv文件。我想使用reduceByKey对字符串类型但包含数字的列求和。当我尝试像这样的reduceByKey(_ + _)时，它只是把数字放在彼此的旁边。我该怎么做?我应该转换列吗？
回答 1
Stack Overflow用户
发布于 2016-11-15 08:33:03
您将需要解析字符串，例如：
scala> val rdd = sc.parallelize(Seq(("a", "1"), ("a", "2.7128"), ("b", "3.14"),
("b", "4"), ("b", "POTATO")))
rdd: org.apache.spark.rdd.RDD[(String, String)] = ParallelCollectionRDD[57] at parallelize at <console>:27
scala> def parseDouble(s: String) = try { Some(s.toDouble) } catch { case _ => None }
parseDouble: (s: String)Option[Double]
scala> val reduced = rdd.flatMapValues(parseDouble).reduceByKey(_+_)
reduced: org.apache.spark.rdd.RDD[(String, Double)] = ShuffledRDD[59] at reduceByKey at <console>:31
scala> reduced.collect.foreach{println}
(a,3.7128)
(b,7.140000000000001)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/40600039
复制相关文章
相似问题
腾讯云开发者
