如果我想使用python库来完成特定的任务，比如NLTK或BeautifulSoup，我可以在本地机器上使用Spark来完成，但是同样的事情在Spark on YARN上就不起作用了。下面是一个示例代码：from pyspark.sql.types import StringType
.select('id',&#
浏览 8提问于2017-02-22得票数 1
3回答
我有一个非常简单的测试脚本，看看我是否可以使用spark submit向s3写入数据.sc = SparkContext()
numbers环境中使用submit运行这个脚本时，它工作得很好。但是，当我试图在python3.4环境中运行相同的脚本时，我会得到以下的跟踪结果.: Can't get attribute 'unicode' o
浏览 6提问于2017-01-29得票数 1
回答已采纳
当我运行pyspark控制台时：然后：一切都是正确的，但是当我使用纯python解释器时，我看不到我的表。from pyspark import SparkContext, SparkConfconf = SparkConf().
浏览 2提问于2016-07-07得票数 0
回答已采纳
1回答
我创建一个虚拟环境并运行PySpark脚本。如果我在MacOS上执行这些步骤，一切都会很好。但是，如果我在Linux (Ubuntu 16)上运行它们，则会选择不正确的Python版本。当然，我以前在Linux上做过export PYSPARK_PYTHON=python3，但仍然是同一个问题。下面我解释所有步骤：
2. add the code into the file:
浏览 0提问于2018-12-10得票数 0
回答已采纳
例外: worker中的Python版本与驱动程序3.4中的版本不同，PySpark不能在不同的次要版本下运行
浏览 2提问于2015-06-19得票数 1
回答已采纳
我可以运行火星雨和运行一个脚本的木星笔记本。但是，当我试图使用submit从终端运行文件时，会得到以下错误：有人能帮我一下我的配置有什么问题吗？我正在使用Python2.7和Spark1.6
浏览 2提问于2017-09-30得票数 9
例外: worker中的Python2.7版与驱动程序3.5中的版本不同，PySpark无法在不同的次要versions.Please检查环境变量PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON正确设置的情况下运行。如何在worker中更改python版本？(我在独立模式下使用Spark )
浏览 62提问于2019-01-10得票数 1
2回答
在它的文档中，它说它可以在Scala或Python中使用。
一些博客说，火花依赖于scala (例如，)。因此，我想知道：scala是Spark的必修课吗？
浏览 2提问于2014-12-21得票数 6
下面是我在Dataproc中作为PySpark作业提交的文件，通过UI提交
# Load file data fro Google Cloud Storage to Dataproc cluster,
浏览 1提问于2016-02-11得票数 0
回答已采纳
1回答
我遇到了火花提交的问题，抛出的错误不是木星命令，也就是说，pyspark启动了一个web用户界面，而不是火星雨外壳。背景资料：
任何帮助都是非常感谢的
浏览 1提问于2016-07-20得票数 2
回答已采纳
我需要在亚马逊EC2上运行太空火花脚本。脚本使用这样的库，如numpy，pandas等。问题是我在/usr/local/lib64/python2.7/site-packages中安装了numpy，默认情况下这个文件夹不在PYTHONPATH中。所以当我使用export PYTHONPATH=$PYTHONPATH:/usr/local/lib64/python2.7/s
浏览 1提问于2015-08-05得票数 0
1回答
在Python中引发导入问题
、、、、
我们在python脚本上运行spark-submit命令，该脚本使用Spark在Python中使用Caffe并行化对象检测。如果在纯Python脚本中运行，该脚本本身运行得很好，但在使用Spark代码时，它会返回一个导入错误。我知道spark代码不是问题，因为它在我家里的机器上运行得很好，但在AWS上却运行得不好。设置<
浏览 2提问于2016-10-03得票数 8
如何在eclipse中使用python作为星火程序？我已经在eclipse中安装了PyDev插件，并在系统上安装了Python，但是如何使用PySpark呢？
浏览 0提问于2014-04-01得票数 1
回答已采纳
4回答
为Python工作节点设置sys路径的“正确”方法是什么？通过.bashrc在工作节点中设置路径是个好主意吗？或者有什么标准的火种设置方式？
浏览 16提问于2015-10-06得票数 9
回答已采纳
1回答
我正在问一个非常类似于的问题，这个答案解释了pyspark安装中确实有spark。当我通过Anaconda做这件事时会发生什么？还有，有没有其他方法可以在PyCharm中运行呢？因为，我的jupyter笔记本运行得很好。我知道PySpark是一个使用python编写可伸缩spark脚本的包装器。conda install pyspark。我可以把它导入到脚本
浏览 3提问于2021-04-23得票数 2
我发现了一些关于如何配置IPython笔记本以使用PySpark (如：)加载火花上下文变量sc的教程。问题是，由于我们现在使用的是朱庇特笔记本而不是IPython笔记本，所以我们不能像使用IPython那样创建一个安装脚本来加载Spark变量(应该位于~/.ipython/profile_pyspark/startup/00-pyspark-setup.py中)。问题是:木星笔记本上将在启动时执行脚本00-<e
浏览 6提问于2016-04-28得票数 7
但是当我执行bin/pyspark时，我得到的是Python2.7.9版本。我怎样才能改变这一点？
浏览 5提问于2015-05-17得票数 99
当我在python脚本中运行以下代码并直接使用python运行它时，我会得到下面的错误。当我启动一个pyspark会话，然后进行考拉的导入时，数据帧的创建和调用head()就会运行良好，并给出预期的输出。 File "/usr/local/Cellar/a
浏览 1提问于2021-03-22得票数 5
我需要为python解释器执行一些自定义设置:与pyspark特别相关："interpeter“实际上将是spark-submit (又名pyspark) shell脚本。其目的是能够在中运行 pyspark作业。在Run Configuration中运行也很好:这将是另一种方法。我使用IJ终极版--它有很好的python支持:除了这个特定的用例之外。让我们将其与pycharm进行比较--特别是自定义解释器
浏览 3提问于2017-02-26得票数 0
回答已采纳
我在CDH5.12和RHEL上有一个包含Spark2.2的集群，我正在尝试设置IPython以与pyspark2一起使用。我已经安装了IPython 5.xLTS(长期支持)，但是我不能让它工作。到目前为止yum install epel-releaseyum groupinstall 'DevelopmentTools'
pip install IP
浏览 3提问于2017-10-31得票数 0
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
