我是spark的新手，我做了一些简单的代码，但我在执行任务时遇到了问题。我正在使用Java1.7SE和Spark 2.0.1来完成一些任务。为了方便起
浏览 0提问于2017-01-26得票数 1
回答已采纳
在下面的代码中，我试图组合值： sc.parallelize(List((("a"), 1.0), (("a"), 2.0)
val reduceByKey = rdd.reduceByKey((a ,mismatch; found : String req
浏览 10提问于2014-12-17得票数 3
回答已采纳
1回答
我有以下格式的SparkArray[(String, (String, Double))] = Array( (2013-10-19 00:00:00.0,)
我试图使用combineByKey从RDD中对
浏览 1提问于2017-07-17得票数 1
由于查询来自Cassandra的数据是有限制的，所以我尝试使用Spark逐批读取数据，并将其存储在RDD中。这是我的密码。} cassandraRDD2 = cassandraRDD2.union(cassandraRDD);} 但是在联盟中，类型不匹配
浏览 2提问于2016-03-07得票数 1
回答已采纳
1回答
我试图建立一个倒排的索引，在这个索引中，我试图为每个单词生成一个提到这个词的文章列表。(pair => pair._2.mentionsWord(pair._1)) foo.groupByKey上面的函数按预期返回一种类型的RDD[(String, Iterable[Article])]，但是如果我要重写这个函数，如下所示：
def makeInvertedIndex(words: List[String], rdd
浏览 0提问于2017-10-26得票数 0
回答已采纳
1回答
to do here)
我想检查每一行是否与一般的format.If匹配，不想为不匹配的每一行显示一条错误消息。如果它确实匹配，我想为上面所述的模式分组。f1是group1，f2是group2，f3是组three.Finally，我想搜索f3(消息字段)中的关键字，比如错误、失败。以将文本文件的每一行传递给function.if --我将整个rdd传递给函数--比如matcher
浏览 3提问于2016-02-07得票数 1
回答已采纳
我在下面的场景中遇到了类型不匹配错误0000006,Danny,6.2 代码。class Person(id: String, dob: String, country: String, score: Double)
val pers
浏览 5提问于2017-06-14得票数 1
我有一个具有Any类型的RDD，例如：我想把它转换成RDD[(String, Seq[String])]类型的RDDval rdd = sc.makeRDD(strList)
case classX(titleId: String, te
浏览 0提问于2018-03-03得票数 0
回答已采纳
此函数似乎对我的IDE有效： rdd1 .join( .zipWithIndex .values}
值联接不
浏览 3提问于2016-10-12得票数 1
回答已采纳
我有一个定制的Scala对象(基本上是一个Java )：
var amount: Option[java.lang.Double] = _
}
在我的主类中，我加载了一个包含这些Cu
浏览 0提问于2017-02-07得票数 1
回答已采纳
1回答
首先，我有一个类型为(Int，Int)的RDD，名为dataPair。然后，我使用以下命令创建了一个带有列标题的DataFrame对象：然后，我使用以下命令将其从DataFrame转换回RDD：它返回org.apache.spark.sql.Row类型的<
浏览 1提问于2016-05-04得票数 11
回答已采纳
我想设置RDD的返回类型。但这是RDD[ListAnyRef]。所以我不能直接说明任何事情。喜欢,这将返回RDD[ListString、Date、String、String]类型的RDD，但它是RDD[ListAnyRef]。ri1)这个
浏览 0提问于2018-01-27得票数 1
回答已采纳
3回答
我正在尝试将RDD映射到scala中的pairRDD，这样我以后就可以使用reduceByKey了。下面是我所做的：我尝试从userRecords创建一个pairRDD，如下所示： val nameKey: String = t.getName()
浏览 0提问于2015-06-05得票数 4
回答已采纳
1回答
我试图在java中对两个RDDs进行分组，其中一个RDD v2的类型如下：JavaPairRDD<Key, ? extends Value> (实际上是用?extends定义的，因为它是一个函数参数)。void f(JavaPairRDD<Key, ?I cannot get the correct type for this cogroup function编译器会抱怨，因为当我试图从这个cogroup<e
浏览 3提问于2017-06-07得票数 2
在PySpark (v1.6.2)中，当使用指定的模式将RDD转换为DataFrame时，值类型与模式中声明的值类型不匹配的字段将转换为null。sqlContext = SQLContext(sc)
StructField("foo", DoubleType(), nullable=False)
rdd</e
浏览 27提问于2016-07-27得票数 0
回答已采纳
我有两个不同的RDD，每个RDD都有一些公共字段，基于这些字段，我希望从RDD1或RDD2获取不匹配的记录。记录在RDD1中可用，但在RDD2中不可用alex,34,cricket,usa
s
浏览 2提问于2015-07-01得票数 0
回答已采纳
1回答
receivedMessages: List[PubsubSparkMessage] = List() //scalastyle:ignore receivedMessages = List(rdd.collect) }
}由于类型不匹配，我得到了一个错误；我的问
浏览 0提问于2018-10-29得票数 0
回答已采纳
我有两个RDD，一个是RDD[(String, String, String)]类型的RDD，另一个是RDD[(String, String, String, String, String)]类型的RDD每当我尝试执行联合、交叉等操作时，我都会得到错误:-found: org.apache.spark.rdd.RDD[(String, String, S
浏览 5提问于2017-06-29得票数 0
每一列都有整数和最后一行的字符串。#+----+----+#| 2| 3|#|null|n
浏览 1提问于2016-02-15得票数 4
回答已采纳
我编写了一个将特征类型作为输入的方法。这就是Localizable的特点trait Localizable {}def localizeWithId(rdd : RDD[Localizable]) : RDD[(BigInt,Localizable)] = {
return，当我试图调用这个方法，并发送一个作为参数
浏览 2提问于2015-11-22得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
