我正在使用pyspark对一个parquet文件进行一些sql查询。我需要使用多个内核，但我没有找到任何有用的信息。这是我正在使用的代码。正如您所看到的，我将核心数设置为3，但是当我运行脚本时，我可以在htop上看到只有1个核心在使用。我该如何解决这个问题呢？from pyspark.sql import SparkSessionspark = SparkSession
浏览 67提问于2019-12-18得票数 0
我正在尝试使用Hue在Oozie上运行一个简单的python脚本。我使用已安装的anaconda包裹，所以我还添加了Cloudera管理器，火花配置(火花服务高级配置段(安全阀门)用于火花-conf/火花-env.sh)export PYSPARK_PYTHON=/opt/cloudera/parcel
浏览 1提问于2017-10-20得票数 1
回答已采纳
2回答
在它的文档中，它说它可以在Scala或Python中使用。
一些博客说，火花依赖于scala (例如，)。因此，我想知道：scala是Spark的必修课吗？
浏览 2提问于2014-12-21得票数 6
1回答
在Python中引发导入问题
、、、、
我们在python脚本上运行spark-submit命令，该脚本使用Spark在Python中使用Caffe并行化对象检测。如果在纯Python脚本中运行，该脚本本身运行得很好，但在使用Spark代码时，它会返回一个导入错误。我知道spark代码不是问题，因为它在我家里的机器上运行得很好，但在AWS上却运行得不好。(most recent call last):
浏览 2提问于2016-10-03得票数 8
例外: worker中的Python2.7版与驱动程序3.5中的版本不同，PySpark无法在不同的次要versions.Please检查环境变量PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON如何在worker中更改python版本？(我在独立模式下使用Spark )
浏览 62提问于2019-01-10得票数 1
我需要在亚马逊EC2上运行太空火花脚本。脚本使用这样的库，如numpy，pandas等。问题是我在/usr/local/lib64/python2.7/site-packages中安装了numpy，默认情况下这个文件夹不在PYTHONPATH中。所以当我使用export PYTHONPATH=$PYTHONPATH:/usr/local/lib64/python2
浏览 1提问于2015-08-05得票数 0
1回答
我在客户端模式下使用python2.7和星火独立集群。
在客户端模式下运行python脚本、在客户端模式<
浏览 0提问于2017-08-27得票数 1
回答已采纳
我目前正在自学Spark programming，并试图用PySpark重新编写一个现有的Python应用程序。然而，我仍然对如何在PySpark中使用常规Python对象感到困惑。我了解Spark中的分布式数据结构，如RDD、DataFrame、Datasets、vector等。Spark有自己的转换操作和动作操作，如.map()、.reduceByKey()来操作这些对象。但是，如果我在PySpark中创建传统的Pytho
浏览 34提问于2017-03-01得票数 1
回答已采纳
1回答
我必须使用bash操作符在composer中运行一些python (.py)，这些文件存在于计算引擎中，但我无法通过composer与计算引擎进行通信。我想我需要添加连接变量来进行交流。def checkfile(): check_file = PythonOperato
浏览 1提问于2019-06-20得票数 1
1回答
一个来自使用shell脚本的ec2实例，另一个来自aws glue中的pyspark。当我尝试从shell脚本连接时，我将密码保存在配置文件中，而当我尝试从pyspark连接时，我必须提供我的密码，如下所示 sfOptions ={ "sfURL“：'xxx'，"sfAccount”：'我想从shell脚本和pyspark无密码登录或密钥对身份验证登录。和shell脚本</em
浏览 7提问于2019-02-02得票数 1
回答已采纳
使用AWS EMR w/ Spark 2.4.3export PYSPARK_PYTHON=python3在火花壳中证实了这一点sc.pythonExecSC.pythonVer
p
浏览 2提问于2019-08-01得票数 4
回答已采纳
我正在尝试提交一个python脚本，使用的是windows 7上的spark submit，我使用的是为hadoop 2.7构建的spark 2.3.0。python脚本应该读取csv文件和绘图图中的数据。是否有可能使用火花提交来运行这样的脚本？在python脚本中，我包含了火花上下文的代码块。import findsparkimport pyspark<
浏览 0提问于2018-04-15得票数 2
我已经在本地机器上通过pip安装了boto3，然后在本地模式下运行spark-submit，同时将路径传递到安装boto3的目录。留给我的是以下命令：然后，当在我的app.py中使用import boto3时，它会抛出可怕的module not found错误。这是将pip安装的python依赖项添加到sp
浏览 10提问于2016-08-27得票数 2
我构建了一个简单的程序来测试我第一次安装apache星火环境，并得到了一个在StackOverflow上很常见的错误：Exception: Python in worker has different我找到了几个修复程序，唯一对我有效的是在脚本中添加以下一行：os.environ["PYSPARK_PYTHON"]="/Users/username/Library/miniconda3/envs/env_nameen
浏览 1提问于2020-05-26得票数 0
回答已采纳
我正在运行一个python脚本，它在集群上提交一个pyspark作业。然而，在GLIBC问题上，工作失败了。/bin/python)
问题是，我的机器上的GLIBC版本是2.17。吡火花星系团上的GLIBC版本为2.10。我通过打开python并运行命令获得了这个结果。python使用GLIBC 2.10。我正在使用anaconda创建python虚拟env。我
浏览 1提问于2021-07-16得票数 1
回答已采纳
我第一次在PySpark集群上运行一个作业。它在name节点上以独立模式完美地运行。named 'numpy'sys.version_info(major=3, minor=6, micro=9, releaselevel='final', serial=0)
如果注释掉我的脚本中关于“将numpy作为np导入
浏览 0提问于2020-02-26得票数 1
回答已采纳
我已经安装了pyspark，但没有单独安装任何hadoop或spark版本。当pyspark想要访问winutilis.exe时，它会在HADOOP_HOME环境变量(用户变量)指定的文件夹的bin目录中查找它。因此，我将winutils.exe复制到pyspark (.\site-packages\pyspark\bin)的bin目录中，并将HADOOP_HOME指定为.\site-packages\pyspark\。但是，当我使用pyspark启动Spark会话时，
浏览 4提问于2020-03-24得票数 1
1回答
但是，由于某种原因，我无法启动pyspark和任何子模块。PYSPARK_PYTHON的正确路径是什么？难道不是通向火花版本的pyspark文件夹中的可执行脚本的路径吗？这是我现在的道路，但它告诉我env: <full PYSPARK</e
浏览 3提问于2015-11-04得票数 1
回答已采纳
4回答
我有一台装有JupyterHub (Python2、Python3、R和Bash内核)的机器。我让Spark(scala)和离线的PySpark工作。我甚至可以在交互式IPython笔记本中使用PySpark，命令如下：(打开一个Jupyter笔记本，在Python2中我可以使用Spark)
但我不能让P
浏览 0提问于2015-07-21得票数 3
基本上，我有如下所示的pyspark脚本(在spark_example.py中是这样说的)：from pyspark import SparkConf, SparkContext: ', ls_out)export SPARK_HOME=~/spark-1.6.0-bin-hadoop2.6
export export PYSPARK_PYTHON=~/anaconda3/bin/python</
浏览 2提问于2016-05-06得票数 3
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
