Scala当中什么是RDD(Resilient Distributed Datasets)弹性分布式数据集

RDD(Resilient Distributed Datasets)弹性分布式数据集。你不好理解的话,可以把RDD就可以看成是一个简单的"动态数组"(比如ArrayList),对其操作,也只需要 调用它的方法而已,和java中的ArrayList一样。但它与一般动态数组的区别在于:RDD是分布的。弹性是指的是数据自动在内存和磁盘切换, task如果失败会进行特定次数的重试。如果在某个节点发生错误,RDD会自动在不同的节点中重试。

更多请看:https://blog.csdn.net/qq_44596980/article/details/93308230

原文链接:https://blog.csdn.net/qq_44596980/article/details/93308230

编辑于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券