腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1735)
视频
沙龙
2
回答
Sagemaker
Studio
Pyspark
示例
失败
amazon-web-services
、
pyspark
、
jupyter-notebook
、
amazon-sagemaker
当我尝试在
Sagemaker
Studio
中使用
PySpark
运行
Sagemaker
时,提供了一些
示例
import os from
sagemaker
import get_execution_role import
sagemak
浏览 20
提问于2021-01-18
得票数 2
回答已采纳
1
回答
AWS和
sagemaker
_
pyspark
有什么区别?
amazon-web-services
、
pyspark
、
aws-glue
、
amazon-sagemaker
、
aws-step-functions
目前,我正在用
SageMaker
在AWS上运行一个概念的快速机器学习
示例
,我遇到了两个库:
sagemaker
和
sagemaker
_
pyspark
。我想处理分布式数据。我的问题是: 使用
sagemaker
是否等同于在不利用AWS的分布式计算能力的情况下运行培训任务?如果不是,我想如果不是,他们为什么要实现
sagemaker
_
pyspark
?
sagemaker
_
pyspark
支持自定义算法吗?还是它只允许您在库中使用
浏览 2
提问于2021-03-26
得票数 1
回答已采纳
1
回答
用纱线客户端代替livy的
Sagemaker
笔记本到EMR火花源
python
、
pyspark
、
amazon-emr
、
amazon-sagemaker
我知道,关于如何通过SparkMagic预装的内核将
Sagemaker
笔记本连接到EMR集群上,有很好的教程,但是我们希望使用纱线-客户端模式(而不是livy )连接到集群,以便能够使用我们已经拥有的
Sagemaker
在云/ AWS之前,我们使用了内部/自定义的前提设置( hadoop/spark集群和jupyter实验室),我们使用了该设置,因此我们知道这是可能的,只是不知道如何在AWS和EMR/
sagemaker
在我们的办公室里,我们会做如下代码(写在笔记本上) spark =
pyspa
浏览 8
提问于2022-06-13
得票数 0
1
回答
AWS
SageMaker
使用的底层资源是否必须独立地进行标记(因为只允许在域级别进行标记)?
amazon-web-services
、
amazon-sagemaker
、
tagging
、
aws-resource-group
SageMaker
有许多没有出现在资源标记编辑器中的组件。因此,
SageMaker
的各个组成部分最终以未分配成本的形式出现。所以标签可以放在
SageMaker
域级别,但是.这是否也意味着标记将传播到该域中的资源(作业、实例、卷等)? 换句话说,
SageMaker
使用的底层资源是否必须独立标记?
浏览 13
提问于2022-01-11
得票数 0
1
回答
星星之火运行python3.7.6,但火花上下文显示python2.7。如何使用火花上下文修复?
python
、
apache-spark
、
version
、
amazon-emr
、
amazon-sagemaker
我已经安装了使用sc.install_pypi_package("
sagemaker
==2.5.1")的起泡器。但是,当我试图导入
sagemaker
并指向python2.7时,我会得到以下错误。 我认为,由于提及python2.7的上下文引发了火花,所以
sagemaker
的进口
失败
了。我该怎么解决这个问题?
浏览 0
提问于2020-08-28
得票数 0
回答已采纳
1
回答
是否有一种方式禁用默认容器在
sagemaker
演播室?
amazon-web-services
、
amazon-sagemaker
在
sagemaker
中,提供了一组默认映像(例如: datascience-2.0 )。虽然这在大多数情况下可能是有用的,但在某些情况下,由于与企业相关的原因,我们可能需要禁用它。有可能吗?
浏览 5
提问于2022-07-12
得票数 0
1
回答
如何从
SageMaker
Studio
运行
SageMaker
分布式培训?
amazon-web-services
、
amazon-sagemaker
、
distributed-training
、
amazon-machine-learning
、
amazon-sagemaker-studio
SageMaker
分布式培训的
示例
笔记本,如下所示:依赖于无法在中使用或安装的高级docker build .和docker push .命令。这些笔记本是否有与
SageMaker
Studio
兼容的替代方案?
浏览 8
提问于2022-09-11
得票数 0
回答已采纳
2
回答
由于KMS权限,
SageMaker
Studio
域创建
失败
amazon-web-services
、
amazon-sagemaker
、
amazon-kms
问题无法为域“d-1dq5c9rpkswy”创建Amazon,因为您没有使用KMS键'arn:aws:kms:us-east-2:316725000538:key/1e2dbf9d-daa0-408d-a290
浏览 3
提问于2021-08-07
得票数 0
1
回答
是否可以使用带有Docker映像的
Sagemaker
笔记本作为您的环境?
amazon-web-services
、
docker
、
cloud
、
amazon-sagemaker
我目前正在开发一个系统,一些私人图书馆。我是在本地模式下开发的,然后当我需要处理特定的东西时,我就使用。问题是,为了加快进程,最好有可能在云环境中开发所有东西。
浏览 1
提问于2022-05-04
得票数 0
1
回答
使用
SageMaker
处理的等效Glue火花配置是什么?
aws-glue
、
amazon-sagemaker
我正在尝试将Glue自定义
PySpark
作业迁移到
SageMaker
处理,以便从
SageMaker
管道提供的MLOps中获益。我尝试使用类似的
SageMaker
处理实例(10个ml.m5.x大型实例,每个实例有4个CPU,16G内存),但是
失败
了,因为OOM "OutOfMemoryError:请使用具有更多内存的实例类型,或者确保处理容器使用的内存不超过可用内存胶水不会在仪表板上公开spark-submit参数(例如--conf spark.executor.memory),那么如何检查我的<
浏览 5
提问于2022-10-25
得票数 1
4
回答
SageMaker
和TensorFlow 2.0
tensorflow
、
amazon-sagemaker
、
tensorflow2.0
使用AWS运行TensorFlow 2.0的最佳方法是什么?什么是最适合使用的基本图像?例如Dockerfile?
浏览 1
提问于2019-08-07
得票数 13
回答已采纳
1
回答
如何从
sagemaker
笔记本中读取存储在S3中的大文本文件?
amazon-s3
、
text
、
boto3
、
amazon-sagemaker
我想从
sagemaker
jupyter notebook中读取它,并将其保存为内存中的字符串列表。然后我将在我的NLP模型中使用这个列表。
浏览 1
提问于2021-01-03
得票数 0
1
回答
SageMaker
Studio
实验室- XGBoost Algortim -我正在阅读正确的文档吗?
xgboost
、
amazon-sagemaker
、
lab
在
SageMaker
Studio
中,我将执行以下操作以获得XGBoost算法的ECR容器:container = image_uris.retrieve('xgboost', boto3.Session().region_name, '1')from
sagemaker
import image_urisimport boto3 fr
浏览 9
提问于2022-01-20
得票数 0
1
回答
如何在
SageMaker
演播室监控木星笔记本电脑?
python
、
amazon-web-services
、
jupyter-notebook
、
jupyter-lab
、
amazon-sagemaker
我想知道是否有一种方法可以监视
SageMaker
Studio
笔记本的日志。笔记本实例(16 of内存)运行良好,但有时内核在加载大数据集时会死掉。
浏览 6
提问于2022-01-17
得票数 0
1
回答
在AWS环境中部署R应用程序的可能选项
r
、
amazon-web-services
、
amazon-sagemaker
、
rstudio-server
我正在寻找所有可能的选项,以部署一个应用程序编写使用R和闪亮的软件包上AWS。我看到其中一个选项是使用EC2,但我想知道是否有任何可用于在AWS上部署R应用程序的无服务器选项。任何线索都将不胜感激。
浏览 9
提问于2022-09-19
得票数 0
1
回答
IAM控件
Sagemaker
Studio
实例类型
amazon-web-services
、
amazon-iam
、
amazon-sagemaker
我想知道是否有人幸运地限制了用户可以从
Sagemaker
Studio
-Jupyter中选择的实例类型。不想对域角色强制实施限制,并且正在尝试创建可附加到用户配置文件的自定义角色。尝试使用"createApp“并拒绝较大的实例,但发现当新的用户配置文件首次尝试启动工作室时,它会成为一个障碍(不允许使用
Sagemaker
.createApp)。使用的
示例
策略: "Sid": "VisualEditor1", "Effect
浏览 0
提问于2021-03-30
得票数 0
1
回答
SageMaker
批处理转换
失败
,ID列
python
、
amazon-web-services
、
scikit-learn
、
amazon-sagemaker
我正在使用
SageMaker
管道来对测试数据进行推断。管道使用SKLearn预处理器和XGBoost模型。管道可以很好地处理没有ID列的数据。但是,当我尝试包含一个ID列来跟踪预测时,它
失败
了。import
sagemaker
output_path = output_data_path
浏览 17
提问于2020-11-16
得票数 1
回答已采纳
4
回答
Tensorboard的
SageMaker
网址是什么?
amazon-web-services
、
amazon-sagemaker
我试图访问tensorflow_resnet_cifar10_with_tensorboard
示例
的Tensorboard,但不确定url应该是什么,帮助文本提供了两个选项: 或者如果我使用run_tensorboard_locally=
浏览 0
提问于2017-12-20
得票数 11
1
回答
限制用户访问
Sagemaker
jupyterkenel应用程序
amazon-web-services
、
amazon-sagemaker
在运行
studio
时,有可能限制jupyterserver内核应用程序中的用户对sudo的访问吗?还是只配置vpc以防止出站流量更容易呢?
浏览 3
提问于2022-07-11
得票数 0
回答已采纳
2
回答
亚马逊
SageMaker
模型注册/管道-如何手动设置一个给定的模型版本的舞台?
amazon-web-services
、
machine-learning
、
amazon-sagemaker
、
mlops
我希望显式地为给定的模型版本在Model注册表中设置Stage列:此图片来自文档,只有在运行
示例
SageMaker
项目MLOps模板时才会设置它们。我已经彻底检查了
SageMaker
MLOps项目生成的所有文件(CodeBuild Builds、CodePipeline、CloudFormation、各种.py文件、
SageMaker
管道),但是找不到对该事件的任何直接和显式调用我认为它可能以某种方式连接到标记
sagemaker
:deployment-stage,但我已经将其设置在Endpo
浏览 1
提问于2021-12-01
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
0483-如何指定PySpark的Python运行环境
AI创业公司优秀开发工具指南火了,还发现了个Jupyter的「杀手」
解决VSCode永远加载Python扩展的问题
VisualStudio下如何编译和使用最新版本的OpenCV
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券