问我是否需要使用普通的python，除了pyspark，或者pyspark拥有我所需要的所有东西？
EN

Stack Overflow用户

提问于 2017-08-30 16:03:06

回答 1查看 863关注 0票数 0

我的公司正转向使用Hadoop & learning进行机器学习。我知道python在库中是非常全面的，但是当我们切换到pyspark时，如果我们需要的东西还没有在pyspark中可用呢？而且，继续使用python可能更容易一些，因为我已经知道了python.So：

发布于 2017-08-30 16:29:15

Pyspark或多或少是一个可以在python之上使用的函数库。

您仍然可以运行您的python代码，但是它们不会从spark中获益(因为您不会使用pyspark库、对象.)
您将要操作的对象是pyspark对象(RDD、dataframes、datasets)，因此您将无法像不能将pandas与其他东西混合一样混合操作。您将能够使用python创建UDF(用户定义函数)，然后可以将其应用于RDD、dataframe的每一行(就像pandas中的map )。
有一些方法可以将pyspark对象转换为其他python对象(list、pandas dataframe、json.)当它小到足以把它带到司机的记忆里时。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/45965044

复制

相似问题

问我是否需要使用普通的python，除了pyspark，或者pyspark拥有我所需要的所有东西？EN