腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
Python
notebook
中
配置
Spark
时
出现
运行时
错误
、
、
我正在尝试使用这个
Python
notebook
。我直接在
notebook
(!pip install pyspark)
中
安装了
Spark
,但当我这样做
时
:
spark
= SparkSession \ .appName("question recommendation") \ .config("
spark
.driver.maxResultSize", "9
浏览 151
提问于2021-11-17
得票数 0
回答已采纳
3
回答
如何从jupyter笔记本访问pyspark
、
我已经
在
Ubuntu14.04上的ipython笔记本
中
成功地使用了pyspark和
Python
2.7,为
spark
创建了一个特殊的
配置
文件,并通过调用$ipython
notebook
--profile许多网站上都给出了创建
spark
配置
文件的机制,但我使用的是
中
给出的机制。(
SPARK
_HOME, "
python
")) 我刚刚为我的学生创建了一个新的Ubuntu16.04虚
浏览 1
提问于2016-06-25
得票数 0
5
回答
KernelRestarter:
在
jupyter
中
重新启动失败,内核已死
、
、
、
、
[I 10:43:53.627 NotebookApp] 启动notebooks
在
本地路径: /opt/soft/recommender/jupyter PYSPARK_DRIVER_
PYTHON
="jupyter" PYSPARK_DRIVER_
PYTHON
_OPTS="
notebook
/
spark
-2
浏览 12
提问于2018-10-10
得票数 2
2
回答
带有
Spark
2.0的
Python
2
如何使用
spark
2.0为
Python
2/3创建
Spark
服务。每当我创建一个新服务并将其与
python
笔记本相关联
时
,它的
Python
2与
Spark
1.6。为什么我看不到我正在创建的服务的
配置
,就像在Data bricks免费版中一样?我想使用
Spark
2.0
中
引入的
Spark
api来创建您的SparkSession会话变量,因此
出现
了这个问题。
浏览 15
提问于2017-08-27
得票数 0
1
回答
在
Spark
作业
中
获取Databricks集群ID (或获取集群链接
、
我想要在一个正在运行的
Spark
作业
中
获取集群链接(或手动组成链接的集群ID )。 这将用于打印警报消息
中
的链接,使工程师更容易访问日志。
在
Databricks
中
运行的
Spark
作业有可能实现这一点吗?
浏览 35
提问于2021-06-30
得票数 3
回答已采纳
2
回答
在
电子病历笔记本电脑中设置
spark
.driver.maxResultSize
、
、
、
我
在
emr中使用Jupyter
notebook
来处理大量数据。
在
处理数据
时
,我看到了这个
错误
:似乎我需要更新
sp
浏览 29
提问于2020-05-11
得票数 3
回答已采纳
1
回答
线程"main“中
出现
异常:java.lang.IllegalArgumentException不支持任何应用程序选项
在
pyspark
中
配置
jupyter
notebook
时
,它有一些
错误
:
在
.bashrc文件
中
:export PYSPARK_DRIVER_
PYTHON
=jupyter export PYSPARK_DRIVER_
PYTHON
_OPTS="
notebook
-
浏览 2
提问于2017-06-25
得票数 0
2
回答
在
创建增量表
时
使用Pyspark Py4JJavaError
、
、
、
、
builder).getOrCreate()None.org.apache.
spark
.api.java.JavaSparkContext.:调用Py4JJavaError
时
出错:java.lang.IllegalAccessError: org.apache.
spark
.storage.StorageUtils$类(
在
未命名模块@0x30cb5b99
中
)无法访问类sun.nio.ch.DirectBuffer (
在
模块java.base
中
)
浏览 11
提问于2022-01-17
得票数 3
1
回答
Pyspark (SparkContext):java网关进程
在
向驱动程序发送其端口号之前退出
、
、
我已经在这个问题上挣扎了四天了,我
在
Stackoverflow上查看了几个处理相同问题的网页,但没有得到解决方案。我安装了findspark,然后
在
我的Jupyter
Notebook
中
启动了pyspark。问题是当我运行以下命令
时
:我得到以下
错误
:值得一提的
浏览 0
提问于2018-04-03
得票数 4
回答已采纳
2
回答
运行./pyspark无法找到本地目录
、
在
安装
Spark
之后,我尝试从安装文件夹运行PySpark:但是我得到了以下
错误
:opt/
spark
/b
浏览 5
提问于2020-04-24
得票数 1
4
回答
Azure HDInsight Jupyter笔记本不工作
、
我已经
在
Microsoft Azure上部署了一个HDInsight 3.6
Spark
(2.3)集群,使用标准
配置
(Location = Central US,Head Nodes = D12 v2启动Jupyter
notebook
,当选择
spark
notebook
时
,会
出现
一个奇怪的
错误
,我无法确定。
浏览 0
提问于2020-01-11
得票数 1
2
回答
Pyspark与Jupyter的集成
、
我已经
在
我的机器上安装了Anaconda(
Python
2.7版本),并用"PYSPARK_DRIVER_
PYTHON
=jupyter“和PYSPARK_DRIVER_
PYTHON
_OPTS="
notebook
”启动了jupyter笔记本,我正在连接到jupyter
notebook
,但也无法运行“打印”命令。当我运行该命令
时
,它将转到下一行,但没有显示输出,打印也没有以颜色突出显示。我已经安装了pyspark并在我的windows机器(独立模式)的
浏览 1
提问于2017-04-04
得票数 1
2
回答
当调用其他笔记本
时
,Databricks笔记本超时
错误
: com.databricks.WorkflowException: java.net.SocketTimeoutException: Read
、
、
、
每个笔记本
在
delta表上执行一次合并,以更新或插入新记录。---------------------------------------------------------------------------<command-3958057957970596> in <module>
浏览 1
提问于2019-08-16
得票数 3
回答已采纳
1
回答
如何在QDS上运行命令
时
更改超时值
、
我有一个
spark
-submit命令来调用我的
python
脚本。代码运行超过36小
时
,但是由于QDS超时限制为36小
时
,我的命令
在
36小
时
后被终止。 有没有人可以帮我把这个参数值改成50小
时
?这就是我
在
QDS
中
调用脚本的方式 /usr/lib/
spark
/bin/
spark
-submit s3:/abc.py
浏览 16
提问于2020-06-17
得票数 0
5
回答
PySpark无法启动-‘
python
’:没有这样的文件或目录
、
、
我跟着这本指南走, http://jmedium.com/pyspark-in-
python
/ 当我
在
终端
中
运行'pyspark‘
时
, /home/jacob/
spark
-2.1.0-bin-hadoop2.7(有些指南
在
设置.profile时有不同的细节。我的.profile
配置
如下: #
Spark
and PySpark Setup PATH="$HOME
浏览 397
提问于2018-09-06
得票数 7
回答已采纳
1
回答
在
火花/木星
中
设置
spark
.local.dir
、
、
、
我正在使用木星笔记本
中
的Pyspark,并试图为S3编写一个大型的拼花数据集。如何设置这个参数? 我发现的大多数解决方案都建议
在
使用火花提交
时
设置它。然而,我没有使用星火提交和运行它作为一个脚本从木星。编辑:我正在使用
Spark
魔术处理EMR后端,我认为需要在
配置
JSON
中
设置
spark</e
浏览 2
提问于2018-06-29
得票数 4
1
回答
如何在docker容器
中
安装不同的
python
版本
、
、
我
在
我的机器
中
安装了gettyimages/
spark
docker映像和jupyter/pyspark-
notebook
。但是,由于gettyimage/
spark
python
版本为3.5.3,而jupyter/pyspark-
notebook
python
版本为3.7,因此
出现
以下
错误
: 例外情况: worker
中
的因此,我尝试升级gettyimage
浏览 1
提问于2019-08-16
得票数 4
回答已采纳
3
回答
ipython未被识别为内部或外部命令(pyspark)
、
、
、
我已经安装了
spark
发行版:
spark
-2.2.0-bin-hadoop2.7。我使用的是Windows 10 OS我设置了我的环境变量: PYSPARK_DRIVER_
PYTHON
_OPTS
浏览 1
提问于2017-11-18
得票数 3
2
回答
尝试在上使用
Python
注册UDF
时
,我收到关于
Spark
BUILD with HIVE的
错误
、
Exception:(“必须使用
配置
单元构建
Spark
。导出'
SPARK
_HIVE=true‘并运行build/sbt程序集”,Py4JJavaError(调用None.org.apache.
spark
.sql.hive.HiveContext.\n',JavaObject id=o54
时
出错)) 每当我
在
IBM Bluemix
Spark
as a Service上的Jupyter
中
的第二个笔记本上创建UDF
时<
浏览 4
提问于2016-05-11
得票数 1
1
回答
findspark.init()失败-无法正确设置
SPARK
_HOME环境变量
、
、
我刚开始使用
Spark
,我正在尝试使用Jupyter
Notebook
在
我的本地(windows)计算机上玩
Spark
我遵循了几个关于设置环境变量的教程,以及通过
Python
和cmd使用多个函数来设置环境变量
运行时
(
在
Jupyter
Notebook
中
,使用
Python
) from pyspark import SparkContext from pyspark.sql import SQLContext\
浏览 124
提问于2019-07-03
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PySpark安装+Jupyter Notebook配置
Jupyter在美团民宿的应用实践
Python Spark安装及配置步骤
Dataiku DSS Code Recipe 介绍
如何用Spark计算引擎执行FATE联邦学习任务?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券