腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Spark
Scala
中将
RDD
[(
String
,
String
,
String
)]转
换为
RDD
[(
String
,(
String
,
String
))]
scala
、
apache-spark
、
bigdata
、
rdd
有两个
rdd
,我正在尝试加入:当每个
rdd
中有2个参数时,它将被联接,但是当我
在
existingGTINs
rdd
中添加新参数时,我面临以下错误: 代码如下: newGTS.collect() found : (T1, T2, T3) required: (
String
, Option[(
String
,
浏览 32
提问于2021-07-21
得票数 1
4
回答
Scala
RDD
[
String
] to
RDD
[
String
,
String
]
scala
、
dictionary
、
apache-spark
、
rdd
、
scala-collections
我有一个包含以下数据的
RDD
[
String
]:('Night of the Demons (2009) (uncredited)[
String
,
String
],比如' '中的第一个元素将是我
在
RDD
中的第一个字符串,' '中的第二个元素将是我
在
RDD
中的第二个字符串。我试过这个: val <
浏览 0
提问于2016-10-08
得票数 1
3
回答
Spark
RDD
[(
String
,
String
)] into
RDD
[Map[
String
,
String
]]
scala
、
apache-spark
有没有办法将所有
RDD
[(
String
,
String
)]收集到一个
RDD
[Map[
String
,
String
]]中1,one3,threeval map = rddMap.collect map: Array[
scala
.collection.immutable.Map[
String
,
String
]] = Array(Map(1 -> one, 2
浏览 0
提问于2015-07-13
得票数 0
1
回答
Scala
RDD
[(
String
,
String
)]到
RDD
[
String
]
scala
、
apache-spark
、
rdd
我们正在以
RDD
(
String
,
String
)的形式读取UTF_8中的一个文件,需要帮助将其转
换为
RDDString。val textRdd = sparkSession.sparkContext.binaryFiles(filePath,12) .mapValues(content => new
String
浏览 58
提问于2021-08-13
得票数 0
0
回答
从
RDD
中提取
RDD
[(Array[
String
]) [(
String
,Array[
String
]) [
Spark
/
scala
]
scala
、
apache-spark
、
extract
、
rdd
我有这个问题,我有一个
RDD
[(
String
,ArrayString),我想从中提取一个包含按键分组的值的
RDD
[ArrayString]:val x :
RDD
[(
String
, Array[
String
]) = (a, Array[ "ta", "te", "ti"])
浏览 1
提问于2017-06-06
得票数 0
1
回答
将
RDD
[
String
]转
换为
RDD
[Array[
String
]]
apache-spark
给定一个
RDD
{
String
],其中行上的每个元素都用|字符分隔,例如:将其转
换为
RDD
[Array[
String
]的正确方法是什么,以便将上面的内容表示为Array("aaa", "bbb", "ccc", "ddd")val rddAsArray =
rdd
.map { x => Array(x.split("""\|&q
浏览 5
提问于2016-03-27
得票数 0
回答已采纳
2
回答
平坦的
RDD
[(
String
,Map[
String
,Int])]到
RDD
[
String
,
String
,Int]
scala
、
apache-spark
、
apache-spark-sql
我正在尝试将
RDD
[(
String
,MapString,Int)]压缩为RDDString、
String
、Int,并最终将其保存为数据格式。val
rdd
=hashedContent.map(f=>(f._1,f._2.flatMap(x=> (x._1, x._2)))) val
rdd
=hashedContent.map(f=>
浏览 0
提问于2018-08-29
得票数 1
回答已采纳
2
回答
将
RDD
[List[AnyRef]]转
换为
RDD
[List[
String
,Date,
String
,
String
]]
scala
、
apache-spark
、
rdd
我想设置
RDD
的返回类型。但这是
RDD
[ListAnyRef]。所以我不能直接说明任何事情。喜欢,这将返回
RDD
[ListString、Date、
String
、
String
]类型的
RDD
,但它是
RDD
[ListAnyRef]。ri1)这个
rdd
1是
浏览 0
提问于2018-01-27
得票数 1
回答已采纳
2
回答
为什么shell无法加载带有
RDD
导入的类的文件?
scala
、
apache-spark
我
在
Scala
2.11.8中使用
Spark
2.1.1。 这是我正在处理的代码
浏览 2
提问于2017-06-09
得票数 3
回答已采纳
2
回答
将
RDD
从`org.apache.
spark
.
rdd
.
RDD
[((
String
,
String
),Double)]转
换为
`org.apache.
spark
.
rdd
.
RDD
[((
String
),List[Double
scala
、
apache-spark
我有一个
RDD
: sc.parallelize(List([((
String
,
String
), Double)]类型转
换为
org.apache.
spark
.
rdd
.
RDD
[((
String
), List[D
浏览 3
提问于2014-12-16
得票数 0
回答已采纳
3
回答
将
RDD
Array[Any] = Array(List([
String
],ListBuffer([
string
]))转
换为
RDD
(
String
,Seq[
String
])
scala
、
apache-spark
、
rdd
我有一个具有Any类型的
RDD
,例如:我想把它转换成
RDD
[(
String
, Seq[
String
])]类型的
RDD
val
rdd
= sc.makeRDD(strList) case classX(titleId:
String
, terms: List
浏览 0
提问于2018-03-03
得票数 0
回答已采纳
2
回答
将
RDD
[
String
,
String
]转
换为
RDD
[Int,Int]
apache-spark-sql
我是新的火花和面临的问题,找出如何转换
RDD
元素数据类型。我有以下文本文件:2 3当我创建一个新的
RDD
时,它默认采用字符串数据类型。exampleRDD = sc.textFile("example.txt").map(x => (x.split(" ")(0),x.split(" ")(1))) exampleRDD: org.apache.
spark
.
rdd
.
RDD
[(
String
,
浏览 1
提问于2016-07-17
得票数 2
2
回答
Scala
中org.apache.
spark
.
rdd
.
RDD
[((
String
,Double),(
String
,Double))] to Dataframe
scala
我正在学习
Scala
/
Spark
。
在
Scala
中,很少有groupby操作会导致下面的
rdd
。现在,我正在尝试将以下内容写入sql dataframe并将其保存在hadoop中。但是,
在
将其写入sql dataframe时,它会转
换为
Array[((
String
, Double), (
String
, Double))] = Array(((Veterans
浏览 14
提问于2018-02-25
得票数 0
回答已采纳
1
回答
将
RDD
[Map[
String
,
String
]]转
换为
python
、
json
、
scala
、
apache-spark
、
rdd
我正在尝试将一个val rec:
RDD
[Map[
String
,
String
]]转换成一个
Spark
。但当我执行:val df = sqlContext.createDataFrame(rec, classOf[Map[
String
,
String
]]) json文件中满是空对象:{}{}
浏览 3
提问于2017-03-30
得票数 2
1
回答
如何将
RDD
[List[
String
]]转
换为
RDD
[
String
]
scala
、
apache-spark
我
在
scala
中有一个场景,需要将
RDD
[List[
String
]]转
换为
RDD
[
String
]。@eric,我能知道为什么这个问题不是主题吗?
浏览 0
提问于2017-06-10
得票数 0
1
回答
在
Scala
中过滤
RDD
[(VertexId,(VertexId,
String
,
String
))]
scala
、
apache-spark
我有一个原始
RDD
:* (590,[590,luca,m])我想从它中获得一个只包含验证条件的元素(只有那些拥有这个方面( _ , [ _ , _ , m]) )的元素)的
RDD
"m"maleUserNodesRdd.foreach(println)
浏览 1
提问于2018-01-21
得票数 0
1
回答
将
RDD
[Map[
String
,Double]]转
换为
RDD
[(
String
,Double)]
scala
、
apache-spark
、
rdd
我做了一些计算,并在包含
scala
映射的
RDD
中返回了我的值,现在我想删除这个映射并收集
RDD
中的所有键值。 任何帮助都将不胜感激。
浏览 1
提问于2015-06-22
得票数 0
回答已采纳
2
回答
Java中
Scala
方法的重写
java
、
scala
、
apache-spark
、
overriding
我
在
Scala
中有一个具有以下语法的方法。我想在java子类中重写这个方法。我不确定这个方法
在
Java中的等效语法是什么。def createRecord(
rdd
:
RDD
[(
String
, Array[(
String
, Int)])])
浏览 4
提问于2017-05-17
得票数 2
回答已采纳
1
回答
如何在转换
Scala
->
RDD
时保留类型?
scala
、
apache-spark
我正在尝试将数据转
换为
RDD
。root |-- num_hits: integer (nullable = true) |-- user_id:
string
(nullable = true) 当我使用df.
rdd
将其转
换为
rdd
时,我得到了一个Array[org.apache.
spark
.
浏览 2
提问于2017-04-26
得票数 2
回答已采纳
2
回答
激发如何将
RDD
[Seq[(字符串,
String
)]转
换为
RDD
[(
String
,
String
)]]
scala
、
apache-spark
我有一个
Spark
[Seq(
String
,
String
)],它包含几个由两个单词组成的组。这是解决办法val seqTermTermRDD:
RDD
[Seq[(
String
,
String
)]] = ...val combinedTermsRDD:
RDD
[<em
浏览 7
提问于2016-01-04
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
扩展RDD API三部曲之第二部自定义操作算子
万字长文,Spark 架构原理和RDD算子详解一网打进!
英雄惜英雄-当Spark遇上Zeppelin之实战案例
Spark 核心编程RDD的使用(1)
SparkStreaming&Kafka——Direct方式
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券