我在Jupyter笔记本中使用Pyspark (现在只是在教程之后，没有什么复杂的东西)。在网上，我看到很多在Jupyter中很好地呈现的DataFrames的图片(使用display()函数)，但是当我在我的系统上使用它时，我看到的都是这样的代码行：DataFrame[id: stringimport *from pyspark.context import Spa
浏览 18提问于2019-10-25得票数 1
回答已采纳
如果输出的格式不是很好，就会变得非常困难，如链接-> 中的图像所示。我在使用apache-toree内核的pyspark中的jupyter笔记本上运行我的代码。目前，当我展示我的数据帧时，它看起来有点像这个链接-> 中的图像。
我知道有一种方法可以使用apache 上提到的“魔法”，但它在pyspark中也不起作用。如果我在jupyter中加载一个普通的python笔记本，它就能工作。它
浏览 2提问于2018-06-28得票数 1
我有点困惑于不同的演员在这个故事: PySpark，SparkSQL，卡桑德拉和火星雨-卡桑德拉连接器。据我所知，星火已经进化了很多，SparkSQL现在是一个关键组件(有了'dataframes')。显然，没有SparkSQL是绝对没有理由工作的，特别是如果连接到卡桑德拉。cc.setKeyspace("mykeyspace")我怎样才能用p
浏览 7提问于2016-02-28得票数 1
我使用的是jupyter的pyspark和graphframes。我能够成功地导入pyspark和graphframes，但当我尝试时： from graphframes.lib import Pregel 我得到以下错误： ImportError: cannot# Set environment to use Jupyterexport PYSPARK_DRIVER_PYT
浏览 30提问于2019-05-30得票数 1
回答已采纳
希望你做得很好。
我对Spark和Microsoft Azure都是新手。根据我们的项目需求，我们已经通过安装在我们的HDInsight集群中的jupyter notebook开发了一个pyspark脚本。到目前为止，我们从jupyter本身运行代码，但现在我们需要自动化脚本。我尝试使用Azure Datafactory，但找不到从那里运行pyspark脚本的方法。你们可以帮助我如何在azure中自动化/调度pyspark脚
浏览 0提问于2016-06-13得票数 0
1回答
1)如果我将Pandas dataframes转换为，那么多个操作就无法很好地转换，因为Pandas dataframes似乎没有Pandas dataframes那么丰富。2)如果我选择使用Pandas和pandas在同一代码中处理不同的数据集，当通过map调用的函数包含任何熊猫数据时，Pyspark转换(如map)似乎根本不起作用。我在Python中已有使用熊猫和numpy的代码，并且在一台机器上工作得很好。我最初试图将整个代码转
浏览 2提问于2017-12-26得票数 6
我安装了anaconda的火花放电之后，在我的jupyter笔记本中，它工作得很好，但是在教程中提到了https://mortada.net/3-easy-steps-to-set-up-pyspark.html，您必须设置环境变量，如 $ export PYSPARK_PY
浏览 0提问于2021-05-09得票数 0
如何在DataFrame中为流PySpark设置架构。from pyspark.sql import SparkSessionfrom pyspark.sql.functionsimport splitfrom pyspark.sql.types import *
.builderforma
浏览 3提问于2016-12-29得票数 3
回答已采纳
我在我的机器中安装了gettyimages/spark docker映像和jupyter/pyspark-notebook。但是，由于gettyimage/spark python版本为3.5.3，而jupyter/pyspark-notebook python版本为3.7，因此出现以下错误：
例外情况: worker中的Python版本与驱动程序3.7中的版本不同，PySpark无法运行不同的次要versio
浏览 1提问于2019-08-16得票数 4
回答已采纳
假设这一步骤是必要的，它似乎无休止地运行在16节点4 cpu上，每个cpu的内存为30 16，cpu利用率为100% (4)。见
我做错了什么？df_groupby = df.groupby('user_id')aggs只是不同列(如f.sum
浏览 1提问于2021-01-28得票数 1
我能够毫无问题地实例化sparkcontext并执行RDD，如下所示：import numpy as nprdd.map(lambda x: x+1).take(10)[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
但是，当我尝试使用以下代码进行
浏览 0提问于2017-07-10得票数 0
我刚刚开始学习spark，并且一直在我公司的Jupyter笔记本上使用R& Python。谢谢!将要
浏览 1提问于2016-04-16得票数 0
1回答
pyspark mllib和pyspark ml包有什么区别？：
我发现的一个不同之处是，pyspark ml实现了pyspark.ml.tuning.CrossValidator，而pyspark
浏览 4提问于2017-04-05得票数 18
回答已采纳
这使得集群能够很好地启动，但是当试图在Ipython笔记本中导入pyspark时，我得到了一个“无法导入名称累加器”错误。经过一些搜索之后，我认为这与Python中没有包含的pyspark安装路径有关，所以我删除了我的集群，并希望创建一个新的集群，使用jupyter.sh作为初始化脚本。检查日志“dataproc-初始化-脚本-0_output”，它简单地说：你知道我在这里错过
浏览 2提问于2016-09-19得票数 1
3回答
=jupyterexport SPARK_HOME=/my/path/to/spark-2.1.0-bin-hadoop2.7
alias pyspark="pyspark --conf spark.local.dir=/home/puifais --num-executors 30 --driver-memo
浏览 2提问于2017-12-15得票数 14
回答已采纳
我已经在Ubuntu14.04上的ipython笔记本中成功地使用了pyspark和Python2.7，为spark创建了一个特殊的配置文件，并通过调用$ipython notebook --profile许多网站上都给出了创建spark配置文件的机制，但我使用的是中给出的机制。Python，Pyspark运行得很好。我们使用的是Spark 1.6。不支持--profile选项，必须在~/.jupyter/jupyter_noteb
浏览 1提问于2016-06-25得票数 0
它连接到Livy和Spark来提供PySpark和Spark内核，这很好用。 但是，仍然有我想要删除的默认Python 3内核： ? /jupyter/kernels/pysparkkernel sparkkernel/usr/local/share/jupyte
浏览 134提问于2021-01-29得票数 2
1回答
我已经成功地拥有了一个带有PySpark内核的jupyter笔记本界面。只要我的工作人员不需要执行需要外部包(如NumPy或sklearn )的代码，一切都能正常工作。当我输入which python时，我得到一个路径，比方说/opt/conda/bin/python，当我用echo $PYSPARK_PYTHON检查PYSPARK_PYTHON时，我得到了相同的路径我不明白为什么我的工作人员不能使用包，因为它们是正确安装的，路径变量看起来
浏览 0提问于2018-02-12得票数 1
我使用pip install pyspark安装了PySpark。我没有设置任何路径等；但是，我发现所有内容都被下载并复制到C:/Users/Admin/anaconda3/scripts中。我在Python3内核中打开jupyter notebook，并试图运行SystemML脚本，但它给了我一个错误。所以我的问题是：
(i)如何在Python3内核中添加PySpark？另一件事是，尽管PySpark<
浏览 1提问于2020-09-12得票数 0
8回答
Python工作人员未能连接回
、、、、
Python3、Spark2.4.0)上安装并设置所有env变量(HADOOP_HOME、SPARK_HOME等)之后，我尝试通过WordCount.py文件运行一个简单的Spark作业：ModuleNotFoundError: No module named 'resource'
18/11/10 23\pyspark\rdd.py", line 1261,
浏览 6提问于2018-11-11得票数 20
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
