org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout : JVM中不存在org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout
org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout : JVM中不存在org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout
提问于 2021-04-02 14:48:57
我试图在jupyter笔记本中创建SparkContext，但是我得到了以下错误：
org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout Py4JError: JVM中不存在Py4JError
这是我的密码
from pyspark import SparkContext, SparkConf
conf = SparkConf().setMaster("local").setAppName("Groceries")
sc = SparkContext(conf = conf)
Py4JError Traceback (most recent call last)
<ipython-input-20-5058f350f58a> in <module>
1 conf = SparkConf().setMaster("local").setAppName("My App")
----> 2 sc = SparkContext(conf = conf)
~/Documents/python38env/lib/python3.8/site-packages/pyspark/context.py in __init__(self, master, appName, sparkHome, pyFiles, environment, batchSize, serializer, conf, gateway, jsc, profiler_cls)
144 SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
145 try:
--> 146 self._do_init(master, appName, sparkHome, pyFiles, environment, batchSize, serializer,
147 conf, jsc, profiler_cls)
148 except:
~/Documents/python38env/lib/python3.8/site-packages/pyspark/context.py in _do_init(self, master, appName, sparkHome, pyFiles, environment, batchSize, serializer, conf, jsc, profiler_cls)
224 self._encryption_enabled = self._jvm.PythonUtils.isEncryptionEnabled(self._jsc)
225 os.environ["SPARK_AUTH_SOCKET_TIMEOUT"] = \
--> 226 str(self._jvm.PythonUtils.getPythonAuthSocketTimeout(self._jsc))
227 os.environ["SPARK_BUFFER_SIZE"] = \
228 str(self._jvm.PythonUtils.getSparkBufferSize(self._jsc))
~/Documents/python38env/lib/python3.8/site-packages/py4j/java_gateway.py in __getattr__(self, name)
1528 answer, self._gateway_client, self._fqn, name)
1529 else:
-> 1530 raise Py4JError(
1531 "{0}.{1} does not exist in the JVM".format(self._fqn, name))
1532
Py4JError: org.apache.spark.api.python.PythonUtils.getPythonAuthSocketTimeout does not exist in the JVM回答 3
Stack Overflow用户
发布于 2021-05-31 08:14:20
Python的火花放电和火花集群版本是不一致的，并报告了此错误。卸载与当前吡火花一致的版本，然后安装与spark集群相同的版本。我的spark版本为3.0.2，并运行以下代码：
pip3 uninstall pyspark
pip3 install pyspark==3.0.2Stack Overflow用户
发布于 2022-03-14 04:45:24
我们需要从PyCharm/木星笔记本或我们使用的任何工具中卸载默认/退出/最新版本的PySpark。
然后检查我们在PyCharm/木星笔记本/ CMD中安装的Spark版本。使用命令spark-submit --version (在CMD/终端中)。
然后安装PySpark，它与您所拥有的Spark版本相匹配。例如，我有Spark3.0.3，所以我安装了PySpark 3.0.3
在CMD/PyCharm终端，
pip install pyspark=3.0.3或者如果您是这用户，请检查PyCharm。
Stack Overflow用户
发布于 2021-05-24 12:17:03
我今天也犯了同样的错误，并使用以下代码解决了这个问题：
在使用星火会话生成器之前，在单独的单元格中执行此操作。
from pyspark import SparkContext,SQLContext,SparkConf,StorageLevel
from pyspark.sql import SparkSession
from pyspark.conf import SparkConf
SparkSession.builder.config(conf=SparkConf())页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/66921090
复制相关文章
相似问题
腾讯云开发者
