文档建议反馈控制台
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
发布
首页
学习
活动
专区
圈层
工具
返回腾讯云官网
社区首页 >问答首页 >Scala FoldLeft:对象RDD不接受类型参数

问Scala FoldLeft:对象RDD不接受类型参数
EN

Stack Overflow用户
提问于 2021-07-24 22:20:02
回答 1查看 126关注 0票数 0

我试图将foldLeft应用于String列表，如下所示：

代码语言：javascript
代码运行次数：0
运行
AI代码解释
复制
 items.foldLeft(RDD[(String, Iterable[SomeClass])])((total, item) => total.union(fetchRDD(item))

其中：

ListString

  • SomeClass是
  • 项，是一个简单的case类

但是，我收到了“RDD[(字符串，IterableSomeClass)]”的以下异常-(foldLeft的第一个大括号中的表达式)：

“对象RDD不接受类型参数”

但是，我收到了“RDD[(字符串，IterableWikipediaArticle)]”的以下异常-(foldLeft的第一个大括号中的表达式)：

“对象RDD不接受类型参数”-。

scala
apache-spark
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-07-25 00:47:11

您必须将RDD[_]类型的实例作为foldLeft中的第一个参数传递。

在这里，您将传递对象RDD，正如错误所述，该对象不接受类型参数。

您可能希望添加() (如RDD[X]() )来创建一个空的RDD，并将其用作foldLeft中的零元素。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：

https://stackoverflow.com/questions/68516043

复制
相关文章
Scala 【 13 类型参数 】
scala编程算法
​ Scala 的类型参数其实意思与 Java 的泛型是一样的，也是定义一种类型参数，比如在集合，在类，在函数中，定义类型参数，然后就可以保证使用到该类型参数的地方，就肯定，也只能是这种类型。从而实现程序更好的健壮性。
Lokinli
2023/03/09
5180
Spark基础-scala学习（七、类型参数）
java编程算法scala
类型参数是什么 类似于java泛型，泛型类 泛型函数 上边界Bounds 下边界 View Bounds Context Bounds Manifest Context Bounds 协变和逆变 Existential Type 泛型类 scala> :paste // Entering paste mode (ctrl-D to finish) class Student[T](val localId:T){ def getSchoolId(hukouId:T) = "S-"+hukouId+"-"+
老梁
2019/09/10
6870
Scala类型推导Scala类型推导
其他
根据Picrce的说法：“类型系统是一个可以根据代码段计算出来的值对它们进行分类，然后通过语法的手段来自动检测程序错误的系统。”
一个会写诗的程序员
2018/08/20
2.6K0
Scala学习笔记
面向对象编程
大数据框架（处理海量数据/处理实时流式数据） 一：以hadoop2.X为体系的海量数据处理框架         离线数据分析，往往分析的是N+1的数据         - Mapreduce             并行计算，分而治之             - HDFS（分布式存储数据）             - Yarn（分布式资源管理和任务调度）             缺点：                 磁盘，依赖性太高（io）                 shuffle过程，map将数据写入到本次磁盘，reduce通过网络的方式将map task任务产生到HDFS         - Hive 数据仓库的工具             底层调用Mapreduce             impala         - Sqoop             桥梁：RDBMS（关系型数据库）- > HDFS/Hive                   HDFS/Hive -> RDBMS（关系型数据库）         - HBASE             列式Nosql数据库，大数据的分布式数据库  二：以Storm为体系的实时流式处理框架         Jstorm（Java编写）         实时数据分析 -》进行实时分析         应用场景：             电商平台: 双11大屏             实时交通监控             导航系统  三：以Spark为体系的数据处理框架         基于内存            将数据的中间结果放入到内存中（2014年递交给Apache，国内四年时间发展的非常好）         核心编程：             Spark Core：RDD（弹性分布式数据集），类似于Mapreduce             Spark SQL：Hive             Spark Streaming：Storm         高级编程：             机器学习、深度学习、人工智能             SparkGraphx             SparkMLlib             Spark on R Flink
曼路
2018/10/18
2.6K0
Scala对象
编程算法
如果有一个class,还有一个与class同名的object，那么就称这个object是class的伴生对象，class是object的伴生类
羊羽shine
2019/07/31
2850
RDD：创建的几种方式（scala和java）[通俗易懂]
spark大数据hadoop分布式https
每一个spark应用程序都包含一个驱动程序（driver program ），他会运行用户的main函数，并在集群上执行各种并行操作（parallel operations）
全栈程序员站长
2022/06/29
9440
RDD：创建的几种方式（scala和java）[通俗易懂]
Scala教程之:scala的参数
scala
在Scala中，可以给参数提供默认值，这样在调用的时候可以忽略这些具有默认值的参数。
程序那些事
2020/07/07
6170
编程修炼 | Scala亮瞎Java的眼（二）
scalajava
继续上一期的话题，介绍Scala有别于Java的特性。说些题外话，当我推荐Scala时，提出质疑最多的往往不是Java程序员，而是负责团队的管理者，尤其是略懂技术或者曾经做过技术的管理者。他们会表示这样那样的担心，例如Scala的编译速度慢，调试困难，学习曲线高，诸如此类。 编译速度一直是Scala之殇，由于它相当于做了两次翻译，且需要对代码做一些优化，这个问题一时很难彻底根治。 调试困难被吐槽得较激烈，这是因为Scala的调试信息总是让人难以定位。虽然在2.9之后，似乎已有不少改进，但由于类型推断等特性的
张逸
2018/03/07
1.4K0
大数据技术之_27_电商平台数据分析项目_02_预备知识 + Scala + Spark Core + Spark SQL + Spark Streaming + Java 对象池
sparkpythonnode.js大数据编程算法
List 元素的追加 方式1-在列表的最后增加数据 方式2-在列表的最前面增加数据
黑泽君
2019/06/14
2.7K0
大数据技术之_27_电商平台数据分析项目_02_预备知识 + Scala + Spark Core + Spark SQL + Spark Streaming + Java 对象池
【Python】PySpark 数据输入 ① ( RDD 简介 | RDD 中的数据存储与计算 | Python 容器数据转 RDD 对象 | 文件文件转 RDD 对象 )
容器rdd对象数据数据存储
RDD 英文全称为 " Resilient Distributed Datasets " , 对应中文名称 是 " 弹性分布式数据集 " ;
韩曙亮
2023/10/11
5070
【Python】PySpark 数据输入 ① ( RDD 简介 | RDD 中的数据存储与计算 | Python 容器数据转 RDD 对象 | 文件文件转 RDD 对象 )
Scala教程之:面向对象的scala
scalajava
我们知道Scala是一种JVM语言，可以合java无缝衔接，这也就大大的扩展了scala的应用范围，大数据里面有名的spark就是使用scala编写的，那么scala到底有什么奥秘和特性呢？我们一一来揭秘。
程序那些事
2020/07/07
5690
spark streaming窗口及聚合操作后如何管理offset
node.jskafkasparkcss面向对象编程
对于spark streaming来说窗口操作之后，是无法管理offset的，因为offset的存储于HasOffsetRanges，只有kafkaRDD继承了该特质，经过转化的其他RDD都不支持了。所以无法通过其他RDD转化为HasOffsetRanges来获取offset，以便自己管理。
Spark学习技巧
2020/05/29
8720
10.scala的柯里化
scala
方法可以定义多个参数列表，当使用较少的参数列表调用多参数列表的方法时，会产生一个新的函数，该函数接收剩余的参数列表作为其参数。这被称为柯里化。
Spark学习技巧
2021/03/05
4650
spark streaming窗口聚合操作后如何管理offset
sparkkafka
很多知识星球球友问过浪尖一个问题： 就是spark streaming经过窗口的聚合操作之后，再去管理offset呢？
Spark学习技巧
2019/07/22
1.4K1
函数式编程与面向对象编程[4]:Scala的类型关联Type Alias函数式编程与面向对象编程[4]:Scala的类型关联Type Alias
面向对象编程scala人工智能
scala里的类型，除了在定义class,trait,object时会产生类型，还可以通过type关键字来声明类型。
一个会写诗的程序员
2018/08/20
7730
scala数据类型
scalajava其他
Scala 与 Java有着相同的数据类型，在Scala中数据类型都是对象，也就是说scala没有java中的原生类型 Scala数据类型分为两大类 AnyVal(值类型) 和 AnyRef(引用类型)， 注意：不管是AnyVal还是AnyRef 都是对象。
若与
2020/05/18
3980
scala数据类型
Scala Json对象转Map对象[通俗易懂]
https网络安全java
文章来源：https://blog.csdn.net/qq_37267676/article/details/116668384
全栈程序员站长
2022/09/23
2.1K0
Scala语言：既存类型
scalajava
Scala既存类型语法： 既存类型具有 T forSome {Q}的形式，Q 是一个类型声明的序列。设t1[tps1]>:L1<:U1,...,tn[tpsn]>:Ln<:Un 是 Q 中声明的类型(
加米谷大数据
2018/04/02
7950
Scala语言：既存类型
scala(八) 面向对象
javascala
当然也可以成修饰符private Scala语法中，类并不声明为public，所有这些类都具有公有可见性（即默认就是public）
用户1483438
2022/04/14
3400
Scala中的Collection
scala编程算法
Traversable 遍历 Iterable 迭代 Set无序集合 Sequence序列 Map映射
ZONGLYN
2019/08/08
1.2K0

相似问题

foldLeft上的scala参数化类型

20

Scala foldLeft参数太多

11

类型不接受参数Scala。

13

Scala - foldLeft类型推理失败

19

Scala隐参数和日语笑脸'foldLeft‘

14
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券

腾讯云开发者

扫码关注腾讯云开发者

扫码关注腾讯云开发者

领取腾讯云代金券

热门产品

热门推荐

更多推荐

Copyright © 2013 - 2025 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有 

深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

腾讯云计算（北京）有限责任公司 京ICP证150476号 |  京ICP备11018762号 | 京公网安备号11010802020287

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文