Spark:无法运行程序"jupyter“

文章/答案/技术大牛

发布

1回答

如何查找在计算机不同内核中创建的Spark RDD

python、apache-spark、ipython

我只是想更多地了解Spark。所以我想问这个问题。我连接了一个运行Pyspark的Jupyter笔记本。所以，现在当我在笔记本中进行任何编码时，比如读取数据并将数据转换为Spark DataFrame，我想检查一下： 1)。其中所有数据集都分布在本地机器上。使用没有spark的Jupyter notebook运行代码和计算与使用Pyspark运行Jupyt

浏览 0提问于2016-08-13得票数 0

1回答

python、apache-spark、pyspark、jupyter-notebook、hadoop-yarn

ERROR yarn.ApplicationMaster: User class threw exception: java.io.IOException: Cannot run program "jupyter": error=2, No such file or directoryexport PATH=$PATH

浏览 71提问于2020-06-22得票数 0

1回答

Spark 2.4从容器连接到数据处理: java.net.UnknownHostException

apache-spark、google-kubernetes-engine、google-cloud-dataproc

我在将Spark 2.4从kubernetes中运行的docker容器连接到dataproc集群(使用Spark 2.4)时遇到了问题。错误堆栈： (base) appuser@jupyter-21001-0:/opt/notebooks/Test$ pysparkCaused by: java.io.IOException: Failed to connect t

浏览 155提问于2019-02-05得票数 2

1回答

我在我的机器中安装了gettyimages/spark docker映像和jupyter/pyspark-notebook。Python版本与驱动程序3.7中的版本不同，PySpark无法运行不同的次要versions.Please检查环境变量PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON。因此，我尝试升级gettyimage/spark映像的python版本，或者将python版本的jupyter/py

浏览 1提问于2019-08-16得票数 4

回答已采纳

1回答

Pyspark总是使用系统的python

pyspark、jupyter-notebook

/python3export PYSPARK_PYTHON=~/anaconda3/envs/Python3.6/bin/python3 export PYSPARK_DRIVER_PYTHON="jupyter</e

浏览 2提问于2020-07-29得票数 0

3回答

我是否可以在集群部署模式下运行笔记本？

apache-spark、pyspark、jupyter-notebook

node1:火花母版我可以将工作节点的telnet和ping发送到node2，反之亦然。问题：--我正试图在吡火花jupyter笔记本中创建一个火花会话，它以集群部署模式运行。我试图让驱动程序在一个不是运行jupyter笔记本的节点上运行。现在，我可以在集群上运行作业，但只能在node2上运行驱动程序

浏览 10提问于2017-09-01得票数 8

回答已采纳

2回答

使用Apache Spark* Submit提交Python应用程序*

python、apache-spark、pyspark

我正在尝试遵循Apache Spark文档站点上的示例：.我得到了这个错误hadoop2.7/examples/src/main/pyth

浏览 1提问于2016-09-03得票数 0

3回答

如何从jupyter笔记本访问pyspark

pyspark、jupyter-notebook

(SPARK_HOME, "python"))有没有人能帮我弄清楚我需要放入这个文件中的配置参数？解释说，

浏览 1提问于2016-06-25得票数 0

2回答

如何创建到远程Spark服务器的连接，并从运行在本地机器上的ipython中读取数据？

apache-spark、ipython、hdfs、ipython-notebook

我正在本地计算机上运行ipython notebook，并希望创建到远程Spark服务器i.p的连接。然后从remote server上存在的hdfs文件夹中读取数据。如何从本地ipython notebook创建到Spark服务器的远程连接

浏览 3提问于2015-11-24得票数 6

2回答

如何在HDInsight集群上使用星火内的图形帧

apache-spark、azure-hdinsight、spark-graphx、graphframes

我已经在HDInsight上安装了SPARK集群，并且正在尝试使用使用。import org.apache.spark.sql._ import org.graphframes._我尝试使用

浏览 5提问于2016-03-28得票数 0

回答已采纳

1回答

k8s上的JupyterHub笔记本上的Apache Spark远程集群

apache-spark、kubernetes、jupyter-notebook、jupyterhub

我有： Apache Spark : 2.4.4 JupyterHub : 1.1.0 舵图版本: 0.9.0 K8S : 1.15 我用官方文档https://zero-to-jupyterhub.readthedocs.io/在k8s上构建了Jupyterhub 我使用官方的Spark镜像来做一些本地工作:jupyter/all-spark-notebook:最新 Spark在本地模式下工作得很好。但是我想使用Apache在远程(自制)Apache Sp

浏览 44提问于2020-12-01得票数 1

2回答

如何从本地运行的Spark* Shell连接到Spark EMR*

apache-spark

我已经创建了一个Spark EMR集群。我希望在本地主机或EMR集群上执行作业。假设我在本地计算机上运行spark-shell，我如何告诉它连接到Spark EMR集群，要运行的确切配置选项和/或命令是什么？

浏览 2提问于2016-06-06得票数 5

1回答

永久设置findspark.init()

python、pyspark

我已经在ubuntu上安装了Apache Spark，路径为/home/mymachine/spark-2.1.0-bin-hadoop2.7，所以我必须进入python目录，位于这个目录下，才能使用sparkpython目录之外使用它，通过一个名为findspark的库来帮助，但是似乎我必须总是像这样初始化这个库：findspark.init("/home/mymachine/spark在，它提到需要在.bash_p

浏览 5提问于2017-09-23得票数 0

2回答

Jupyter Notebook只能在Spark上本地运行

apache-spark、jupyter

我正尝试在spark cluster (v2.0)上远程使用jupyter-notebook (v4.2.2)，但当我运行以下命令时，它不会在spark上运行，而只在本地运行： PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port=7777" pyspark --master spark://*

浏览 5提问于2016-09-16得票数 8

2回答

在Dataproc上运行星火+ Scala +木星

scala、apache-spark、jupyter-notebook、google-cloud-dataproc、apache-toree

我还没有设法让斯派克、斯卡拉和朱庇特合作.有人有简单的食谱吗？您使用了每个组件的哪个版本？

浏览 1提问于2016-06-28得票数 4

回答已采纳

2回答

使用pySpark的GraphFrames

pyspark、google-cloud-dataproc、graphframes

我想在PySpark上使用GraphFrames (目前在Google Dataproc上使用Spark v2.3.3 )。使用安装了GraphFrames之后 pip install graphframes 我尝试运行以下代码： from graphframes import * localVertices = [(1,

浏览 40提问于2019-09-24得票数 4

回答已采纳

2回答

kubernetes中的有状态jupyter笔记本

kubernetes、jupyter-notebook

尝试在Kubernetes中部署有状态的jupyter笔记本，但无法保存笔记本中编写的代码，每当笔记本pod关闭时，所有代码都会被删除。我尝试使用持久音量，但无法达到预期效果。kind: Ingress name: jupyter-ingress backend:apiVersion: v1 metadata

浏览 0提问于2020-05-11得票数 2

1回答

运行pyspark时获取Java输出

java、pyspark、jupyter-notebook、rapids

当我在Ubuntu上的Jupyter Notebook中运行PySpark时，我有时会遇到Java失败的问题。我为什么需要这些日志的例子是，例如，我试图在DGX-1机器上的PySpark上运行Rapids，但它在初始化Spark Context时以类似abo的Java崩溃而结束。rapids)conf.set("spar

浏览 7提问于2021-02-02得票数 0

2回答

火花核在木星上的应用

apache-spark、jupyter、jupyter-notebook

我安装了toree，当我运行内核列表时它会出现。结果如下： $ jupyter kernelspec list Available kernels: python3 C:\Users\UserName\AppData\Local\Continuum\Anaconda3\lib\site-packages\ipykernel\resources bash C:\Users\UserName\AppData\Roaming\jupyter\kernels\bash toree C:\ProgramData\

浏览 0提问于2016-03-29得票数 7

3回答

将木星笔记本与火花连接起来

apache-spark、pyspark、ipython-notebook、jupyter、ssh-tunnel

python3.6Hadoop 2.7.1.2.3.6.0-3796编写了2个新文件。ipython_notebook_config.py /root/anaconda3/share/jupyterpyspark/shell.

浏览 7提问于2017-04-26得票数 2

点击加载更多

如何查找在计算机不同内核中创建的Spark RDD