(spark_path + "/bin")sys.path.append(spark_path + "/python/pyspark/")sys.path.append(spark_path + "/python/lib/
浏览 8提问于2019-06-26得票数 0
回答已采纳
2回答
将PySpark与木星笔记本集成
、、、、
我遵循这个安装朱庇特笔记本，PySpark，并整合两者。我打开了kernel.json/shell.py",
"PYSPARK_SUBMIT_ARGS&
浏览 5提问于2016-08-25得票数 2
回答已采纳
3回答
我正试图在python中使用12 SO的数据，为此我迫切需要使用Spark，但我想我太蠢了，不能单独使用命令行或使用internet，这就是为什么我不得不这样做的原因，
因此，到目前为止，我已经下载了spark若要在Python解释器中交互地运行Spark，请使用 bin/pyspark，但在哪里可以这样做呢？请帮帮忙。编辑:我正在使用windows 10。注意:我在尝试安装某些东西时总是遇到问题，主要是因
浏览 6提问于2016-08-22得票数 3
* FROM <temp table from dataframe>") java.lang.NoSuchMethodException: org.apache.hadoop.hive.ql.metadata.Hive.loadDynamicPartitions例外情况
浏览 1提问于2017-09-08得票数 0
1回答
我有一个由hadoop集群组成的头节点，我看到pyspark安装在hdfs集群中，即我可以在hdfs user.But内使用pyspark shell，用户头节点没有安装pyspark。因此，我无法访问hdfs中的文件并将其带到jupyter笔记本中我是否可以使用jupyter笔记本中hdfs中的pys
浏览 45提问于2019-01-22得票数 0
6回答
朱庇特电火花:无模块名为火星雨
、、、、
谷歌确实有很多解决这个问题的方法，但不幸的是，即使在尝试了所有的可能性之后，我也无法让它发挥作用，所以请耐心等待，看看是否有什么东西能打动你。接下来，我尝试将其配置为与Spark一起工作，为此，我使用Apache安装了spark解释器。现在，当我尝试在笔记本中运行任何RDD操作时，会引发以下错误 /usr/bin/python: No module named pyspark
PYTH
浏览 3提问于2017-02-03得票数 9
回答已采纳
我正面临着运行火花木星笔记本的问题。我在/.bashrc中设置了以下变量export PATH=$SPARK_HOME/bin:$PATHexport PYTHONPATH=$SPARK_HOME/python:$PYTHONPATH
export
浏览 0提问于2020-02-03得票数 2
我在Jupyter笔记本中使用Pyspark (现在只是在教程之后，没有什么复杂的东西)。在网上，我看到很多在Jupyter中很好地呈现的DataFrames的图片(使用display()函数)，但是当我在我的系统上使用它时，我看到的都是这样的代码行：DataFrame[id: string, name: string, age: bigint]我导入了以下库：
import pyspark</e
浏览 18提问于2019-10-25得票数 1
回答已采纳
我正尝试在AWS提供的jupyter笔记本电脑中使用spark / python读取kinesis流。我从AWS文档中获取了代码，但当我尝试使用kinesis创建数据帧时，我得到了一个依赖错误。我认为所有的依赖项都很好，因为我创建了一个笔记本"SparkMagic PySpark“。下面是我的代码：from datetime import datetimeimpo
浏览 10提问于2021-07-20得票数 0
我是pyspark的新手，所以你能建议如何使用jupyter-notebook从Pyspark连接SQL DW吗？我没有使用HDinsight或DataBricks。我已经使用链接设置了pyspark和Jupyter-note书。
浏览 25提问于2019-07-26得票数 0
回答已采纳
在Dataproc星火集群中，星火外壳中有图形框架包，而jupyter pyspark笔记本中却没有。Pyspark内核配置：下面是初始化群集的cmd：
gcloudproperties spark.jars.packages=com.databricks:graphframes:graphframes:0
浏览 10提问于2016-11-30得票数 3
回答已采纳
当我尝试使用pyspark dataframe或sql时，我遇到了一件奇怪的事情。当它在ipython笔记本或python控制台中工作时，当我在pyspark shell中运行它时，我得到了"javax.jdo.JDOFatalInternalException: Error creating简而言之，如果我在iPython笔记本或简单的python终端中运行以下命令，一切都会正常工作： import fi
浏览 35提问于2019-05-13得票数 0
回答已采纳
我在一台jupyter笔记本上使用python和pyspark。我正在尝试从亚马逊网络服务的s3存储桶中读取几个拼图文件，并将它们转换为单个json文件。这就是我所拥有的：from pyspark.sql import DataFrame
for key in
浏览 3提问于2020-07-18得票数 1
2回答
我目前正在data camp中学习pyspark课程，现在我想开始尝试使用pyspark在我自己的计算机上构建一些我自己的项目。然而，我对spark/pysaprk本身的安装以及如何在jypter notebook中运行它感到非常困惑。我已经在youtube上看过关于安装的vids，比如edurkea，它似乎通过创建一台vm机器并将其连接到另一台机器来进行安装，而我不想要的就是在我的笔记本电脑上本地安装pysaprk。我还遵循了此链接
浏览 23提问于2019-12-21得票数 0
回答已采纳
1回答
我在试着运行木星笔记本--------------------------------------------------------- in
ModuleNotF
浏览 0提问于2020-07-24得票数 0
回答已采纳
我试图通过在控制台输入PySpark来启动浏览器中的pyspark notebook，但是我得到了以下错误：python: can't open file '
浏览 1提问于2017-02-21得票数 0
尝试从bigquery读取数据到jupyter笔记本，并使用吡火花库。apache和java的所有文件都被下载到我的C:驱动器中。阅读和观看教程视频，但没有一个似乎是有效的。寻求指导import pyspark from pyspark import SparkContext,SparkConf from p
浏览 9提问于2022-02-04得票数 -1
我正在尝试开始使用DeltaLakes，使用Pyspark。为了能够使用deltalake，我在Anaconda shell上调用pyspark提示为-以下是deltalake- 的参考资料
从Anaconda shell提示符中可以很好地执行有关delta lake的所有命令。在jupyter笔记本</em
浏览 0提问于2019-08-31得票数 3
我正在参加一个使用Jupyter笔记本的Apache PySpark在线课程。为了轻松打开Jupyter笔记本，他们让我在我的bash配置文件中输入以下代码行(我使用的是MAC OS)： export SPARK_HOME="(INSERTED MY SPARK DIRECTORY)"export PYSPARK_DR
浏览 9提问于2019-10-04得票数 0
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
