我发现了一些关于如何配置IPython笔记本以使用PySpark (如：)加载火花上下文变量sc的教程。问题是，由于我们现在使用的是朱庇特笔记本而不是IPython笔记本，所以我们不能像使用IPython那样创建一个安装脚本来加载Spark变量(应该位于~/.ipython/profile_pyspark/startup/00-pyspark-setup.py中)。问题是:木星笔记本上将在启动时执行脚本00-pyspark-set
浏览 6提问于2016-04-28得票数 7
我希望在我的Windows10机器上安装PySpark，但一直无法正确指定PYSPARK_SUBMIT_ARGS参数。这是我从gitbash运行"pyspark“命令时看到的错误： $ pyspark
set PYSPARK_SUBMIT_ARGS="--name" "PySparkShell" "pyspark-shell" && jupyter
浏览 63提问于2020-09-28得票数 1
回答已采纳
一旦我添加了我在尝试创建上下文时遇到以下错误Exception: Java gateway process exited before sending the driver its port number
同样，只要不设置PYSPARK_SUBMIT_ARGS(或仅设置为pyspark</em
浏览 42提问于2018-02-28得票数 1
我正在尝试将一堆CSV文件逐行加载到mysql实例中，该实例使用pyspark配置在OpenShift上运行。我有一台运行着spark的Jupyter笔记本。Py4JJavaError: An error occurred while calling o89.save.
from pyspark.sql import SparkSessionfrom pyspark.sql import
浏览 7提问于2020-09-01得票数 0
我已经按照上的说明安装了Apache Toree。但是，我无法通过在内核文件中的以下位置使用PYTHONPATH变量在pySpark内核中导入包：
/usr/local/share/jupyter/kernels/apache_toree_pyspark使用笔记本，我可以在sys.path和os.environ‘’PYTHONPATH‘中看到所需的.zip，相关的.jar在os.environ
浏览 9提问于2017-07-06得票数 1
回答已采纳
我正试图在jupyter中使用火花放电内核。我对这两方面都很陌生，并且在jupyter中尝试着让pyflem2.1.0在jupyter工作。我已经在.bashrc中设置了以下导出：export PYSPARK_SUBMIT_ARGS="--master local[2] pyspark-shell= os.environ.get("<e
浏览 0提问于2017-02-05得票数 2
回答已采纳
我试图通过在控制台输入PySpark来启动浏览器中的pyspark notebook，但是我得到了以下错误：python: can't open file '
浏览 1提问于2017-02-21得票数 0
除了正确导入包之外，pyspark到底在做什么？是否可以使用常规的jupyter notebook，然后导入所需的内容？
浏览 6提问于2016-02-29得票数 2
如何在装有英特尔Python 3.6的本地计算机上安装与使用MMLSpark？import numpy as npimport pyspark .getOrCreate()
from mmlspark import TrainClassifier
from pyspark.ml.cla
浏览 214提问于2018-07-11得票数 -2
回答已采纳
我正在尝试使用带有Apache Spark 1.4.0的IPython笔记本。我已经按照下面的2个教程设置了我的配置
1.ipython_notebook_config.pyc.NotebookApp.ip'))export SPARK_HOME='home/hadoop/sp
浏览 1提问于2015-09-26得票数 4
我在Jupyter Notebook中初始化PySpark，如下所示：#conf = (conf.set("deploy-mode","client")
.set("spark.driver.m
浏览 0提问于2018-07-31得票数 5
3回答
我正在使用这个答案中的以下说明来为Jupyter 配置spark~/sparkSFOM00618927A.bash_profile和.profile中-bash: pyspar
浏览 4提问于2016-08-06得票数 6
我是pyspark的新手，我想在我的Ubuntu 12.04机器上使用Ipython notebook来使用pyspark。下面是pyspark和Ipython notebook的配置。= os.environ.get("PYSPARK_SUBMIT_ARGS", "")
if not "pyspark-shell" in pyspark_submit_args:<e
浏览 5提问于2016-04-23得票数 0
我正通过docker工具箱在我的Windows7机器上运行jupyter/pyspark-notebook。我的start命令是：
docker run -it --rm --name ds -v /c/Users/<some-folder>:/home/jovyan/work/share -p 8888:8888jupyter/pyspark-notebook start-notebo
浏览 1提问于2017-05-29得票数 2
3回答
node1:火花母版
我可以将工作节点的telnet和ping发送到node2，反之亦然。问题：--我正试图在吡火花jupyter笔记本中创建一个火花会话，它以集群部署模式运行。我试图让驱动程序在一个不是运行jupyter笔记本的节点上运行。经过深入研究，我发现了这个，它声称，如果您运行一个带有火花的交互式shell，您只能在本地部署模式下这样做(在该模式下，驱动程序位于您
浏览 10提问于2017-09-01得票数 8
回答已采纳
我尝试在IPython笔记本中运行Apache，遵循以下内容(以及注释中的所有建议)- ipython notebook --profile=pyspark顺便说一下，这是我的bash_profile：export PYSPARK_SUBMIT_ARGS='--conf "spark.mesos.coarse
浏览 7提问于2015-07-02得票数 7
1回答
我希望更改火花会话的默认内存、执行器和核心设置。在木星中的HDInsight集群上，我的pyspark笔记本中的第一段代码如下所示： .config("spark.driver.memo
浏览 3提问于2017-07-21得票数 2
回答已采纳
以下是在电子病历上的软件安装: Hive 2.3.4，Pig 0.17.0，Hue 4.3.0，Ganglia 3.7.2，Spark 2.4.0，TensorFlow 1.12.0。我已经从EMR启动了notebook，下面是代码的详细信息。.:8020/user/root/temp.csv') 它可以完美地执行，并且我能够通过sdf.show()查看我的数据帧。但是，当我尝试写入avro文件时，它失败了 sdf.write.format("avro").sav
浏览 94提问于2019-05-02得票数 3
当我启动pyspark设置时，它创建了一个Jupyter笔记本，我可以很高兴地在web上访问它。它还自动创建对象，如'sc‘和'spark’-context。我可以在哪里覆盖这些对象的初始化方式？
浏览 3提问于2017-02-16得票数 1
我想从运行在Azure上的Spark集群上的jupyter服务中使用来自的包。在本地集群中，我知道我可以这样做：export PYSPARK_SUBMIT_ARGS="--packages ${PACKAGES} pyspark-shell"
但是，我不明白/不知道把这个放在Azure星火配置中
浏览 4提问于2016-01-27得票数 3
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
