腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
JupyterHub
服务器无法在私有子网
中
运行
的
Terraformed
EMR
群集
中启动
、
、
、
、
我正在使用Terraform创建一个
EMR
集群(
emr
-5.24.0),部署到一个私有子网,其中包括Spark、Hive和
JupyterHub
。我已经在部署
中
添加了额外
的
配置JSON,这应该会将Jupiter
笔记本
的
持久性添加到S3
中
(而不是
本地
磁盘上)。 整个架构包括一个连接到S3
的
VPC端点,并且我能够访问我试图
将
笔记本
写入
的
存储桶。调配
群集
浏览 33
提问于2019-06-26
得票数 0
1
回答
将
文件
本地
保
存在
EMR
群集
上
运行
的
jupyterhub
笔记本
中
、
、
、
、
在Amazon
EMR
上
使用
Jupyterhub
应用程序接口(通过SSH隧道)时,默认
文件
资源管理器显示为/user/jovyan/tree。这是什么目录?如何
将
文件
(比如matplotlib图)从
笔记本
中保存到
本地
空间?常见
的
把戏有 os.chdir(sys.path[0]) print(os.getcwd()) 显示/mnt/tmp,它实际
上
并不是
本地</
浏览 20
提问于2021-10-25
得票数 1
3
回答
Pyspark
EMR
笔记本
-无法
将
文件
保存到
EMR
环境
、
、
我在电子病历
上
的
Pyspark Notebook上工作,并使用toPandas()
将
pyspark数据帧转换为pandas数据帧。现在,我想使用以下代码将此数据帧保存到
本地
环境:但我一直收到权限错误: [Errno 13] Permission
浏览 9
提问于2020-06-25
得票数 2
1
回答
在
EMR
上
向木星/木星中心
的
PySpark内核添加库
、
、
我试图在PySpark3
中
使用Matplotlib,
JupyterHub
(0.9.4)在AWS (5.20)
上
的
码头上
运行
。在该
JupyterHub
上
预装了4个内核: Python、PySpark、PySpark3和Spark。使用Python内核导入Matplotlib没有问题。一直想找个男
的
,但没有运气。谢谢和问候,艾维尔
浏览 0
提问于2019-01-13
得票数 2
回答已采纳
1
回答
如何对多用户
的
JupyterHub
进行压力/负载测试?
、
、
、
、
我按照以下链接在AWS
EMR
集群
上
设置
JupyterHub
的
教程操作: 我已经启动并
运行
了集群,但现在我
的
问题是如何进行压力/负载测试?(例如,模拟100个用户同时在
笔记本
上
运行
)。在课堂环境
中
,我有大约30个用户挤到我
的
集群
中
运行
笔记本
练习,但当更多的人开始执行
笔记本
中
的
代码块时
浏览 0
提问于2017-10-04
得票数 0
1
回答
在没有
EMR
的
情况下
运行
本地
DynamoDB spark作业
、
、
我想在不使用
EMR
集群
的
情况下
运行
本地
Dynamodb spark作业,该作业从一些表
中
读取数据并将其写入到parquet / CSV
文件
中
。我没有找到任何支持这一点
的
火花发电机连接器,也许你有什么想法?我
的
代码示例:import org.apache.hadoop.dynamodb.read.DynamoDBIn
浏览 37
提问于2018-09-05
得票数 0
回答已采纳
1
回答
在
将
状态设置为启动后,我
的
emr
群集
将
因错误而终止。
、
、
嗨,当我创建
EMR
集群时。状态说明它正在创建,但是58分钟后,它抛出错误,表示Master - 1: Error provisioning instances。我正在跟踪AWS关于如何创建
EMR
集群
的
文档。https://docs.aws.amazon.com/
emr
/latest/ManagementGuide/
emr
-gs.html 在AWS
上
创建电子病历集群(从所附
文件
中
获取
的<
浏览 0
提问于2022-01-15
得票数 0
回答已采纳
1
回答
有没有办法在
EMR
中加载install-interpreter.sh
文件
,以便加载第三方解释器?
、
、
我正在
运行
一台Apache Zeppelin
笔记本
,我正在尝试
将
jdbc和/或postgres解释器加载到我
的
笔记本
中
,以便从Zeppelin写入postgres DB。加载新解释器
的
主要资源here告诉我
运行
下面的代码来获得其他解释器: ./bin/install-interpreter.sh --all 但是,当我在
EMR
终端
中
运行
此命令时,我发现
EMR</
浏览 4
提问于2019-05-16
得票数 0
4
回答
EMR
笔记本
安装附加库
、
、
、
、
我有一个令人惊讶
的
困难
的
时间与更多
的
图书馆通过我
的
电子病历
笔记本
。
EMR
的
AWS接口允许我创建木星
笔记本
并将它们附加到正在
运行
的
集群
中
。我想在里面使用更多
的
库。SSHing进入机器并以ec2-user或root
的
形式手动安装不会使
笔记本
可以使用库,因为它显然使用livy用户。引导操作为hadoop安装东西。我无法从
笔记本
浏览 0
提问于2019-02-14
得票数 16
2
回答
是否升级
EMR
集群?
、
、
我在
EMR
上
使用Spark、Zeppelin、Hue等配置了一个小
的
、长期
运行
的
集群。我已经配置了色调用户,我在Zeppelin中有几个我正在使用
的
笔记本
。一切都
运行
良好。但是,我
运行
的
是
emr
-4.3.0,我想升级到
emr
-4.5.0映像。我不想重新创建集群,因为我需要重新配置所有应用程序,并弄清楚如何传输用户数据(保存
的
笔记本
、色调保存<em
浏览 3
提问于2016-04-12
得票数 2
1
回答
在创建AWS
EMR
之后,
将
更多
的
Python包/库安装到每个集群
、
、
、
我最近在
JupyterHub
上
使用了Spark和
JupyterHub
。我知道在创建
EMR
之前,我可以
将
引导程序设置为在每个集群
中
设置环境,比如Python包/库。但是,如果我已经启动了
EMR
,那么如何在不重新启动
EMR
的
情况下安装更多
的
Python包/库? 我搜索并得到了一些答案,我可以通过木星中心
的
手机安装它。install_pypi_packages can only use
浏览 12
提问于2020-05-22
得票数 4
1
回答
在所有spark executors和驱动程序
上
执行脚本或小函数,而不使用DataFrame或RDD
、
、
、
、
我正在尝试使用Spark Structured Streaming从Kafka topic
中
读取数据。Kafka Broker启用了SSL。因此,我需要将私有CA证书安装/导入到spark驱动程序和执行器
上
的
TrustStore
文件
中
。s3
中
的
这个spark脚本包含有关私有CA证书
文件
(.pem)所在位置(在单独
的
s3位置
上
)
的
信息。 我查找了一些方法来做到这一点。我可以创建一个虚拟<em
浏览 6
提问于2020-07-12
得票数 0
1
回答
用纱线客户端代替livy
的
Sagemaker
笔记本
到
EMR
火花源
、
、
、
我知道,关于如何通过SparkMagic预装
的
内核
将
Sagemaker
笔记本
连接到
EMR
集群
上
,有很好
的
教程,但是我们希望使用纱线-客户端模式(而不是livy )连接到集群,以便能够使用我们已经拥有的Sagemaker实例
中
的
库和信任,这个想法是在巨大
的
数据集
上
运行
python代码,获得摘要,并使用我们在sag产
笔记本
中
已经拥有的大量python库和自定义内部库来
浏览 8
提问于2022-06-13
得票数 0
1
回答
在重新创建
EMR
群集
后保持HDFS状态
、
、
、
在重新创建
emr
群集
后,是否可以
将
HDFS存储
的
状态保留在
emr
群集
上
?根据我
的
经验,所有存储在
本地
的
文件
都会丢失。 是否可以选择使用已挂载
的
卷,例如EFS,并将
EMR
集群挂载到该
文件
挂载
上
?dfs.datanode.data.dir</name> <value>file:/&
浏览 12
提问于2020-03-21
得票数 0
2
回答
如何在
EMR
中
添加python火花步骤?
、
我正在尝试创建一个aws数据池任务,这将创建一个电子病历集群,并
运行
一个简单
的
wordcount.py火花程序。我使用了datapipeline定义,其中
的
步骤很简单,如下所示:现在,当我激活任务时,我会得
浏览 7
提问于2016-06-21
得票数 2
2
回答
如何在远程星火库集群
上
运行
本地
Python脚本?
、
、
、
、
我在一个木星
笔记本
上
运行
了一个
本地
Python脚本,它在我
的
机器
上
运行
我
的
本地
Spark集群
上
的
作业:sqlCtx= pyspark.SQLContext(sc) 如何将此更改为连接字符串,以便在AWS
中
运行
我
的
EMR
集群<
浏览 0
提问于2018-11-02
得票数 0
回答已采纳
3
回答
指定
JupyterHub
路径变量
、
、
我正在安装
jupyterhub
。我成功地安装了
jupyterhub
,使用:npm install -g configurable-http-proxy"
jupyterhub
" is not recognized as an internal or external command我
将
C:\User
浏览 5
提问于2017-01-03
得票数 0
回答已采纳
1
回答
如何篡改一个jupyer
笔记本
项目?
、
、
我有一个由6个不同
的
木星
笔记本
和4个CSV
文件
组成
的
项目。我也希望我
的
同事们可以尝试使用这个项目,即使他们没有安装python,也可以使用另一个csv。是否可以通过创建该项目的对接者映像并让他们“播放”
笔记本
和数据来做到这一点?
浏览 0
提问于2022-01-02
得票数 3
回答已采纳
1
回答
从ECS码头集装箱
运行
EMR
作业
、
我已经将用python编写
的
ML作业代码包含到一个码头容器
中
,并能够使用Amazon作为码头服务
运行
。我想使用星星之火以分布式方式
运行
,并在亚马逊
EMR
.Can上部署,建立ECS和
EMR
之间
的
连接?
浏览 3
提问于2017-05-25
得票数 9
回答已采纳
1
回答
无法使用
群集
模式在
EMR
上
运行
spark应用程序
、
、
、
我有一个spark应用程序,我正尝试在amazon
EMR
上
运行
它。但是我
的
应用程序失败了,或者进入
运行
模式,永远不会退出,同样
的
代码在2-3分钟内就可以在
本地
机器
上
运行
。我怀疑我创建spark session
的
方式有问题,我
的
主会议如下所示 .master("local[2]") .appNamespar
浏览 1
提问于2018-04-09
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Komodo Health 公司如何在 EKS 与 EMR 6 上使用多租户 Notebook 平台建立自助服务分析方案
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
4.HBase 运行模式
2.快速启动HBase
腾讯云基于Alluxio优化计算存储分离架构的最佳实践
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券