1回答
在下面给定的代码片段中，我通过并行化List(1,2,3,4)声明了rdd，我想要做的是将List(1,2,3,4)附加到上述rdd的每个元素中。我是通过使用嵌套的flatMap函数来做到这一点的，它可以为RDD的每个元素返回多个值.The代码如下所示val bv=sc.broadcast(List(5,6,7,8))
rand6.<e
浏览 28提问于2020-05-07得票数 0
假设您已经编写了一些case类的集合到parquet，然后想要在另一个spark作业中读取它，返回到相同的case类(即，您已经编写了一些List[MyCaseClass]，并且想要读回它)。一般情况下，假设MyCaseClass中嵌套了case类。flatMap */
private def toCaseClass(spark : SparkSession, inputDF : DataFrame) : Dataset[MyCaseCl
浏览 2提问于2019-08-11得票数 3
据我所知，spark是一种特殊类型的集合，平面映射基本上是转换嵌套的集合，例如Stream> =>流，那么下面一行中的spark为什么需要为每一行返回一个迭代器呢？它是如何在RDD中使用的？JavaRDD words =
lines.flatMap(line -> Arrays.asList(line.toString().split(" ")).iterator
浏览 1提问于2018-03-22得票数 3
回答已采纳
我正在尝试找出一种方法来对Scala case类中具有变量类型的数据集合进行建模，我将其作为Spark Dataset进行操作。
是否可以将Spark Row嵌套在case类中，如下所示？有没有更好的方法来为具有变量类型的数据集合建模(例如，我考虑过Map[String,Any]，但是Any不能工作，因为你需要一个值的编码器)？serializerFor$1$$anonfun$8.apply(ScalaReflection.scala
浏览 0提问于2018-08-13得票数 0
下面是我想要做的伪代码： for element in rdd: if (opt.nonEmpty) add_pair(opt.get, element) 下面是在Scala Spark中实现伪代码的一种简单方法： rdd.map(element => ( element
)).filter= 99) 我找不到清晰的语法来做到这一点，所以我首先映射所有元素，然后过滤掉我不想要
浏览 16提问于2019-04-25得票数 3
回答已采纳
我有两个spark数据集，我正在尝试加入。连接键是嵌套在数据集A中的，所以在连接数据集B之前，我必须首先将其平面化。问题是，一旦我平面化了该字段，列名就变成了默认的"_1“、"_2”等。A.flatMap(a => a.keys).join(B).where(...)
浏览 0提问于2017-10-05得票数 0
1回答
我正在尝试将嵌套在多个文件夹中的一组XML文件读入spark中的序列文件。我可以使用How do I list all files in a subdirectory in scala?中的函数recursiveListFiles读取文件名。recursiveListFiles(f: File): Array[File] = { these ++ these.filter(_.isDirectory)
浏览 10提问于2019-12-06得票数 0
1回答
它看起来像是map和flatMap返回不同的类型。org.apache.spark.rdd.RDDorg.apache.spark.sql.Row mySchamaRdd.map( p => Row.fromSeq(...))返回applySchema函数所需的applySchema函数(或Spark1.3中的createDataFrame )。但是，org.apache.spark.rdd.RDDAny返回mySchamaRd
浏览 4提问于2015-03-31得票数 0
回答已采纳
在Spark示例()中，代码如下所示： .map(word => (word, 1))但是，如果我在Spark REPL中尝试此代码：
scala> val lines = "abc
浏览 1提问于2015-03-28得票数 4
回答已采纳
1回答
我正在尝试在derp.csv中阅读--files指定的内容，但没有找到路径。做什么？spark2-shell --master yarn --files derp.csvorg.apache.spark.sql.AnalysisException:241)
at scala.collection.TraversableLike$$anonfun$flat
浏览 2提问于2018-03-20得票数 2
回答已采纳
使用kafka_2.10-0.9.0.1val kafkaStreams = KafkaUtils.createDirectStream[String"127.0.0.1:9092", Set("tweets")获取异常的方式为at scala.util.Either$RightProjecti
浏览 3提问于2017-05-16得票数 1
当我尝试在Spark中做这样的事情时： val replicas = 10 at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241) at scala.collection.imm
浏览 16提问于2019-02-28得票数 0
回答已采纳
我使用的是kafka2.11-0.11.0.1、Scala2.11和Spark2.2.0。我在eclipse的java构建路径中添加了以下jars：kafka-tools-0.11.0.1,import kafka.serializer.StringDecoderimport kafka.api.ApiUtils._
import
浏览 3提问于2017-11-06得票数 0
这些是我的依赖： "org.apache.spark" %% "spark-core" % "2.1.0", "org.apache.spark" %% "
浏览 2提问于2017-03-20得票数 0
回答已采纳
我在scala中有一个场景，需要将RDD[List[String]]转换为RDD[String]。@eric，我能知道为什么这个问题不是主题吗？
浏览 0提问于2017-06-10得票数 0
谁能给我解释一下map和flatMap之间的区别，以及它们最好的用例是什么？
“扁平化结果”是什么意思？它有什么好处？
浏览 134提问于2014-03-12得票数 285
回答已采纳
我正在尝试使用Java8中的spark 2.1.0进行flatMapJavaDStream<String> words = lines.flatMap(x -> Arrays.asList(x.split(" ")).iterator());Error:(31, 25) java: method flatMap in class org.apache.spark</
浏览 0提问于2017-07-21得票数 1
我正试图用齐柏林飞艇( Zeppelin )在我的笔记本电脑上使用apache 编写火花代码。除了从本地磁盘读取文件外，一切正常工作，例如，当我尝试将csv文件读入Spark at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala
浏览 0提问于2018-11-16得票数 0
回答已采纳
我正在将一些Spark1.6代码更新为2.0.1，并且我正在使用map遇到一些问题。 at scala.collection.TraversableLike$$anonfun$flatMap$1.apply(TraversableLike.scala:241)
at scala.collection.TraversableLike$$ano
浏览 4提问于2016-11-04得票数 0
回答已采纳
我试着把数据从卡夫卡流出来当我使用基于接收器的方法(KafkaUtils.createStream())时，一切都很好，但是当我尝试这种没有接收器的直接方法时(TraversableLike.scala:241)at$$anonfun$flatMap$1.apply(Traversab
浏览 2提问于2016-07-09得票数 1
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号