开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >如何在aws EMR集群上设置python spark作业的相关组件

问如何在aws EMR集群上设置python spark作业的相关组件
EN

Stack Overflow用户

提问于 2018-10-25 22:24:17

回答 1查看 102关注 0票数 0

我写了一个spark程序，需要在EMR集群上执行。但是python程序使用了一些依赖文件和模块。那么有没有办法在一个正在运行的集群上设置依赖组件呢？我们是否可以挂载s3存储桶并挂载该集群节点，并且可以将所有依赖组件放在s3上？这是一个好主意吗，以及如何使用Python将s3存储桶挂载到电子病历上？

EN

回答 1

Stack Overflow用户

发布于 2018-10-26 11:47:29

bash

(在集群创建期间)：您可以使用Amazon EMR bootstrap custom actions，它能够在集群创建时执行脚本。您可以使用此脚本安装所有依赖组件。将在群集的所有节点上执行引导操作。
(在运行的集群上)：您可以使用Amazon EMR步骤选项创建一个s3-dist-cp命令运行器步骤，以便从s3复制文件。

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/52991668

复制

相似问题