基于扫描的Apache火花操作
基于扫描的Apache火花操作
提问于 2015-10-12 07:23:01
在查看关于RDDs/Apache Spark的第一篇论文时，我发现一份声明说，"RDDs在没有足够内存存储的情况下会优雅地退化，只要它们只用于基于扫描的操作“。
什么是RDDs上下文中基于扫描的操作，哪些火花中的变换是基于扫描的操作？
回答 1
Data Science用户
回答已采纳
发布于 2015-10-13 14:22:02
基于扫描的操作基本上是需要对RDD上的谓词进行评估的所有操作。
在其他术语中，每次创建需要计算谓词的RDD或DataFrame时，例如执行过滤器、在每个案例类上映射或甚至解释方法，都将被视为基于扫描的操作。
为了更清楚，让我们回顾一下谓词的定义。
谓词或函数谓词是一个逻辑符号，可应用于对象术语以产生另一个对象术语。
函数谓词有时也称为映射，但该术语也有其他含义。
例子：
// scan based transformation
rdd.filter(!_.contains("#")) // here the predicate is !_.contains("#")
// another scan based transformation
rdd.filter(myfunc) // myfunc is a boolean function
// a third also trivial scan based transformation followed by a non scan based one.
rdd.map(myfunc2)
.reduce(myfunc3)如果您想了解火花内部是如何工作的，我建议您观看由Databricks制作的关于主题的介绍性
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://datascience.stackexchange.com/questions/8402
复制
相似问题
Apache火花理解
Apache火花中余弦相似度的计算
基于PyCharm的局部机火花开发
为Hadoop，火花，和火花流很好的书籍
火花矩阵变换
添加站长 进交流群
领取专属 10元无门槛券
AI混元助手 在线答疑
关注 腾讯云开发者公众号
洞察 腾讯核心技术
剖析业界实践案例
腾讯云开发者
