腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
EMR
6.1.0
上
的
默认
Python3
内核
不在
我
的
集群
上
吗
?
amazon-web-services
、
jupyter-notebook
、
amazon-emr
我
注意到在将
EMR
笔记本附加到带有Hadoop、Spark和Livy
的
EMR
6.1.0
集群
上
时,出现了一些奇怪
的
情况。您知道,
我
在主节点
上
安装
的
包在缺省
的
Python3
内核
中不可用,但在缺省
的
PySpark
内核
中可用。 当我在PySpark
内核
上
获得主机名时,
我</
浏览 12
提问于2020-09-18
得票数 0
3
回答
EMR
记事本(AWS):启动
内核
失败
amazon-web-services
、
jupyter-notebook
、
kernel
、
jupyter
、
amazon-emr
我
正在根据中
的
步骤创建一个带有内置选项
的
笔记本,该选项来自"Amazon“。作为
默认
的
一切 在成功地启动了木星
的
笔记本之后,通过加载
内核
出现了一个错误。不同
的
核(
Python3
,PySpark)产生相同
的
结果。通过单击木星工具栏
上
的
“
内核
错误”,
浏览 5
提问于2020-05-22
得票数 12
回答已采纳
1
回答
AWS
EMR
纱线
集群
上
的
Jupyterhub pyspark3
apache-spark
、
pyspark
、
jupyter-notebook
、
amazon-emr
、
livy
我
在AWS
EMR
集群
上
运行带有pyspark3
内核
的
Jupyterhub。正如我们可能知道
的
那样,
EMR
上
的
Jupyterhub pyspark3使用Livy session在AWS
EMR
YARN调度器
上
运行工作负载。
我
的
问题是关于spark
的
配置:执行器内存/
内核
,驱动内存/
浏览 24
提问于2021-05-17
得票数 1
1
回答
连接到电子病历导入自定义SageMaker模块
的
Python笔记本
python
、
amazon-emr
、
amazon-sagemaker
我
查看了类似的问题,但都没有解决
我
的
问题。
我
有一个SageMaker笔记本实例,打开了一个连接到AWS
EMR
集群
的
SparkMagic Pyspark笔记本。
我
有一个连接到这个笔记本
的
SageMaker存储库,也叫做dsci-Python。user/SageMaker/dsci-Python/Pyspark_playground.ipynb pyspark_mle和datalake_data_objec
浏览 9
提问于2019-11-28
得票数 2
2
回答
Sagemaker Studio Pyspark示例失败
amazon-web-services
、
pyspark
、
jupyter-notebook
、
amazon-sagemaker
See the SageMaker Spark Github repo under sagemaker-pyspark-sdk .master("local[*]").getOrCreate()
我
得到了以下异常call last) <ipython-input-6-c8f6fff0d
浏览 20
提问于2021-01-18
得票数 2
回答已采纳
1
回答
在
EMR
中运行并行作业时触发提交配置
apache-spark
、
parallel-processing
、
emr
、
amazon-data-pipeline
我们目前正在使用Datapipeline中
的
HadoopActivity任务在
EMR
集群
上
运行并行Spark作业。
默认
情况下,较新版本
的
EMR
集群
将spark dynamic allocation设置为true,这将根据负载增加/减少所需
的
执行器数量。那么,我们是否需要在spark-submit中设置任何其他属性,例如
内核
数量、执行器内存等,或者最好是让
EMR
集群
动态处理
浏览 2
提问于2017-11-27
得票数 1
2
回答
EMR
引导失败
amazon-web-services
、
apache-spark
、
pyspark
、
amazon-emr
我
正尝试在AWS
EMR
中运行以下引导程序脚本,但它失败了,没有提供错误消息。
我
已经为应用程序设置了
EMR
集群
: Spark、Hive、Ganglia和Livy。sudo pip-3.6安装-U \ matplotlib \ pandas \ spark-nlp
我
使用
的
是
EMR
版本6。之前我们只使用"pip“而不是"pip- 3.6”,但它仍然出错,因此我们决定尝试使用"pip
浏览 12
提问于2020-05-21
得票数 0
1
回答
更改
EMR
集群
中Livy使用
的
Python版本
pyspark
、
amazon-emr
、
livy
我
知道和。然而,所有这些都行不通。Livy继续使用Python2.7,不管使用什么。 这是在
EMR
集群
上
运行Livy 0.6.0。在hadoop用户、
我
的
用户、根用户和EC2-用户中,
我
已经将PYSPARK_PYTHON环境变量更改为/usr/bin/
python3
。通过ssh登录到
EMR
主节点并运行pyspark将按预期启动
python3
。但是,Livy一
浏览 6
提问于2021-05-03
得票数 2
1
回答
在
EMR
上
向木星/木星中心
的
PySpark
内核
添加库
libraries
、
amazon-emr
、
jupyterhub
我
试图在PySpark3中使用Matplotlib,JupyterHub (0.9.4)在AWS (5.20)
上
的
码头上运行。在该JupyterHub
上
预装了4个
内核
: Python、PySpark、PySpark3和Spark。使用Python
内核
导入Matplotlib没有问题。但是,当我尝试使用PySpark或PySpark3
内核
“导入matplotlib作为plt”时,
我
得到了消息"matplotlib未找到“。一直想找个男
的
浏览 0
提问于2019-01-13
得票数 2
回答已采纳
1
回答
用纱线客户端代替livy
的
Sagemaker笔记本到
EMR
火花源
python
、
pyspark
、
amazon-emr
、
amazon-sagemaker
我
知道,关于如何通过SparkMagic预装
的
内核
将Sagemaker笔记本连接到
EMR
集群
上
,有很好
的
教程,但是我们希望使用纱线-客户端模式(而不是livy )连接到
集群
,以便能够使用我们已经拥有的Sagemaker实例中
的
库和信任,这个想法是在巨大
的
数据集
上
运行python代码,获得摘要,并使用我们在sag产笔记本中已经拥有的大量python库和自定义内部库来完成摘要
的
分析任务
浏览 8
提问于2022-06-13
得票数 0
2
回答
AWS
EMR
上
的
python 3和tensorflow
python-3.x
、
amazon-web-services
、
tensorflow
、
amazon-emr
对于
EMR
,AWS将tensorflow 1.9作为版本5.17
的
软件堆栈
的
一部分。
我
有自己
的
引导脚本来安装Python3.6和tensorflow 1.9,
我
去掉了tensorflow安装--但它不起作用--
我
进入主节点,运行
python3
,进入
我
的
新Python3.6,但我
的
安装中没有
我
肯定安装了一个新
的
python,
我
想我
的</em
浏览 3
提问于2018-09-12
得票数 2
1
回答
AWS
EMR
notebook Spark
内核
无限加载小JSON文件
json
、
scala
、
apache-spark
我
正尝试在一个带有Spark
内核
的
EMR
笔记本中加载一个JSON文件。
我
使用
的
是一个非常大
的
、经过验证
的
EMR
集群
,这是
我
以前使用过
的
,所以
集群
大小/计算能力不是问题。下面的简单代码足以重现
我
的
问题: val df = spark.read.json("s3a://src/mai
浏览 10
提问于2020-02-27
得票数 0
2
回答
使用AWS jupyter笔记本绘制Matplotlib
amazon-web-services
、
matplotlib
、
amazon-ec2
、
pyspark
我
试图在AWS实例
的
jupyter笔记本中使用Matplotlib绘制数据。Matplotlib必须在实例启动时通过引导操作安装,这一点
我
已经成功地完成了。
我
也成功地用这种方式安装了Pandas (并将其用于笔记本中
的
各种东西)。典型
的
%matplotlib inline不工作。(事实
上
,在AWS笔记本
上
似乎没有神奇
的
命令。
我
怀疑AWS已经禁用了这些功能,或者这与笔记本
的
“无服务器”有关)。
浏览 0
提问于2019-03-31
得票数 4
2
回答
在SparkR中使用Jupyter notebook
sparkr
、
jupyter-irkernel
我
想在SparkR
上
使用Jupyter笔记本,
我
想在
我
的
Spark
集群
上
安装Jupyter
上
的
IR
内核
。
我
可以找到在pySpark中使用Jupyter
的
帮助,但在SparkR中找不到帮助。
我
已经在AWS-
EMR
集群
上
创建了
我
的
Spark
集群
。
浏览 1
提问于2016-05-25
得票数 0
1
回答
为什么
EMR
笔记本在作为AWS帐户所有者运行时不能连接到其群集
amazon-emr
我
已经使用
默认
设置创建了AWS
EMR
集群
和笔记本。
我
切换到一个不同
的
AWS帐户,在那里
我
从来没有运行电子病历,并创建了一个笔
浏览 17
提问于2022-04-04
得票数 6
回答已采纳
1
回答
PySpark自签署证书从
EMR
木星笔记本中访问Artifactory
apache-spark
、
pyspark
、
amazon-emr
我
试图从托管于(
EMR
)
的
EMR
内部使用PySpark
内核
,并且无法访问Artifactory来安装PyPi包。在
EMR
服务器本身上,
我
确实有一个用于TLS/SSL
的
PEM密钥,并且在/etc/pip.conf中正确地设置了访问Artifactory并指向证书。如果
我
试图在error中使用类似的命令,使用PySpark
内核
,以便将已安装
的
库调整到笔记本本身,但由于自
浏览 6
提问于2022-03-21
得票数 0
回答已采纳
1
回答
使用dask实验室扩展连接到远程
集群
amazon-ec2
、
jupyter
、
dask
、
amazon-emr
我
感兴趣
的
是在
EMR
上
运行一个Dask
集群
,并在运行在单独
的
EC2实例
上
的
朱庇特实验室笔记本中与它进行交互(例如,
不在
集群
内而不是由
EMR
管理
的
EC2实例)。 Dask文档指出是此用例
的
首选工具。dask-labextension依赖于 (和/或某些环境vars)来理解如何与
集群
对话。但是,据我所知,此配置只能设置为指向本地Dask<e
浏览 3
提问于2020-06-14
得票数 2
回答已采纳
1
回答
运行PySpark时AWS
EMR
的
代码失败
amazon-web-services
、
pyspark
、
amazon-emr
我
试图安装和运行PySpark在木星笔记本
上
的
AWS ElasticMapReduce (电子病历)。其中172.31.3.115是
我
的
主要内部/私有IP。首先,
我
无法在电子病历
上
找到SPARK_HOME。
我
也有一个问题,如何在电子病历
上
安装Livy或设置Advanced Cluster Options?
我
正在使用aws-cli手动创建
集群
,如下所示 aws
emr
cr
浏览 8
提问于2020-06-06
得票数 1
1
回答
EMR
PySpark "ModuleNotFoundError:没有名为‘spacy’
的
模块“
pyspark
、
pip
、
conda
、
amazon-emr
、
spacy
我
一直试图在
我
的
EMR
集群
上
安装Spacy来运行Pyspark作业,但没有成功。
我
对
EMR
的
引导操作如下所示sudo
python3
-m spacy
python3
-m pip install -U boto3 sudo
python3
-m p
浏览 1
提问于2019-10-10
得票数 4
1
回答
当申请提交给Executor时,内存大小是可配置
的
,cpu数量如何?
apache-spark
因此,
默认
情况下,spark将反转每个节点
上
的
所有可用资源,并且当应用程序提交到主程序时,主程序将在每个worker node.So executor上声明一个执行器内存为512mb,这是可配置
的
,但对于cpus,
我
通常会看到通过主UI为
我
的
应用程序分配一个核心。那么
默认
情况下,每个应用程序也有一个
内核
吗
?
我
是否需要配置spark.cores.max属性才能让
我
的
浏览 2
提问于2014-08-13
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
AWS EMR在搭建大数据平台ETL中的应用实践
EMR 实战心得浅谈
Komodo Health 公司如何在 EKS 与 EMR 6 上使用多租户 Notebook 平台建立自助服务分析方案
史上最全的Python数据分析工具:Notebook教程
亚马逊工程师的代码实践
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券