在像ml.p3.2xlarge这样的SageMaker上运行非本地实例时，我不能使用本地file:// URI，而必须使用s3://这是有意义的，因为它是一个新实例。但是，当将s3 URI用于100 10数据集tf_estimator.fit(s3://bucket/path/to/my/data)以便我可以使用更大的非本地训练实例时，我必须等待大约10分钟才能将数据从s
浏览 6提问于2019-01-26得票数 2
2回答
我目前正在尝试将MLFlow跟踪实现到我的训练管道中，并希望记录每个训练作业的超参数调优的超参数。 有人知道如何获取在sagemaker培训作业界面(在AWS控制台上)上可以看到的超参数列表吗？有没有其他更聪明的方法来列出模型在Sagemaker中的性能对比(并显示)？ 我假设一定有一种简单的、Pythonic式的方法( boto3或sagemaker</
浏览 14提问于2020-06-11得票数 0
回答已采纳
当我在本地训练我的模型时，我使用20%的测试集，然后进行交叉验证。Sagameker似乎需要一个专用的验证集(至少在我学习的教程中是这样)。目前我有20%的测试，10%的验证，剩下70%需要训练-所以与本地训练相比，我丢失了10%的训练数据，因此会有一些性能损失。我可以只使用本地训练的模型并覆盖存储在s3中的sagemaker模型，但这似乎有点麻烦。有没有一种<e
浏览 46提问于2019-08-24得票数 2
1回答
我的背景
我开发了一个ML实验环境，如下所示:在AWS云中使用SageMaker培训作业进行培训。经过训练的模型存储在/opt/ml/model目录中，作为.tar.gz存储在SageMaker自己的S3桶中。在培训和测试期间计算了几个评估指标，并将其记录到由基于S3的工件存储组成的MLflow基础结构中(请参见)。请注意，这是一个不同于SageMaker的S3桶。MLflow的一个非常有用的特性是，任何模型工件都
浏览 2提问于2022-01-12得票数 0
我正在跟踪这个页面，以了解SageMaker的分布式培训功能。上面写着：-
SageMaker分布式培训库只能通过TensorFlow、PyTorch和HuggingFace框架的AWS深度学习容器在SageMaker培训平台中使用。这是否意味着我们不能使用SageMaker分布式训练来使用传统的机器学习算法(如线性回归、随机森林或XGBoost )来训练机器学习模型？我有一个用例，其中数据集非常大，和分布式培训可以帮助模型并行和<
浏览 12提问于2022-09-17得票数 -1
3回答
当在亚马逊SageMaker中运行ML训练作业时，训练脚本被“部署”并提供一个ML训练实例，这需要大约10分钟的时间来启动并获得所需的数据。我只能从训练任务中得到一条错误消息，然后它就会死掉，实例也会随之终止。 在我更改了训练脚本以修复它之后，我需要部署和运行它，这需要大约10分钟的时间。 如何更快地完成此任务，或者让训练实例保持运行？
浏览 29提问于2019-01-24得票数 3
回答已采纳
我用内置算法SageMaker训练了一个AWS 模型.这个名为model.tar.gz的经过训练的模型存储在S3上。所以我想从S3下载这个文件，然后用它在我的本地PC上进行推理，而不再使用AWS SageMaker。由于内置算法的语义分割是用实现的，所以我尝试参考和的文档，在本地PC上进行推理。从S3下载这个文件很容易，然后我解压缩这个文件以获得三个文件：
hyperparams.json：包括用于网络体系结构、数据</e
浏览 2提问于2020-02-26得票数 0
回答已采纳
1回答
AWS救世主多项培训工作
、、、、
我们目前有一个运行在AWS上的系统，其中有几个单位有自己经过训练的机器学习模型工件(使用SKLearn训练脚本和SKLearn估计器)。我们面临的问题是，我们需要扩展这个系统，这样我们就可以为几十万个单元训练单个模型，然后在一个多模型端点上托管产生的模型工件。但是，Sagemaker对你可以并行训练的型号的数量有一个限制(我们的限制是30)。除了分批培训我们的模型之外，有没有人知道如何在AWS Sagemak
浏览 1提问于2020-10-26得票数 0
回答已采纳
我目前正尝试在AWS Sagemaker上使用pytorch训练一个模型，但无法让它正常运行。任何帮助都是非常感谢的。例如，我设法让代码在colab或本地机器上运行，但不能在sagemaker上运行。
简而言之，该程序应该:建立pytorch模型，从文件系统加载训练数据，并执行训练历元。为此，我尝试了以下方法:带有“入口点”的代码文件(dataloaders/help函数
浏览 3提问于2021-11-12得票数 0
1回答
我想知道在sagemaker工作室中存储文件夹是否有一定的大小限制？我将这个数据集存储在s3中，但是我想在我的sagemaker环境中下载该数据集来训练我的模型。我可以下载的文件大小是否有某种限制？
浏览 3提问于2021-12-04得票数 1
回答已采纳
1回答
我希望部署一个预先训练的模型，用于实时行人和/或车辆检测，使用AWS的Sagemaker工作流，我特别希望使用Sagemaker编译模型并将其部署到边缘。我想使用OpenVino从他们的模型动物园预先构建的模型之一，但是当我下载模型时，它已经是他们自己的优化器的中间表示格式(IR)了。是否有一种方法可以得到一个OpenVino预训练的模型，而不是IR格式，以便我可以使用它在萨吉克？或者任何可能的方法来封装O
浏览 3提问于2021-09-16得票数 0
我正在使用SageMaker训练一些我认识到的自定义TF模型。在训练过程中，我自然会多次评估模型，以便了解神经网络何时真正开始过拟合。训练结束后，我想恢复工作最好的模型(即，表示最小验证损失的模型)，并将其部署在端点上。然而，如果我使用经典的Tensorflow.attach()，恢复的模型对应于output/model.tar.gz中存储的模型，如果我没有弄错，它将是对应于上一次训练迭代的模型(因此它可能过拟合)。
浏览 2提问于2018-10-23得票数 3
我试图避免将现有的模型培训过程迁移到SageMaker，并避免创建自定义的Docker容器来承载经过培训的模型。我的希望是将我们现有的、经过训练的模型注入到预建好的scikit学习容器中，这是AWS通过提供的。我发现的所有示例都需要首先对模型进行培训，这将在SageMaker中创建模型/模型配置。然后使用deploy方法进行部署。
是否有可能为deploy方法提供经过训练的模型，并将其托管在AWS提供的预构建的scikit学
浏览 1提问于2019-02-28得票数 8
` 我想在AWS SageMaker上运行我的笔记本来测试一些东西。要使用BigQuery进行身份验证，似乎唯一的两种方法是使用GCP上的服务帐户(或本地的)或使用env将SDK指向凭据JSON (如这里所解释的：)。例如
export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Download
浏览 0提问于2019-04-05得票数 4
回答已采纳
在Sagemaker UI中，当您运行对象检测训练作业时，您可以看到随着时间的推移mAP的进度。有没有一种方法可以分割这个值，以便您可以按类跟踪它？
浏览 0提问于2019-01-31得票数 2
1回答
，我从docker SAGEMAKER_PROGRAM运行一个自定义keras (使用TF后端)训练作业。我可以访问训练数据ok (从EFS挂载)，并可以在/opt/ml/model中生成输出，该输出将同步回S3。所以输入和输出都很好:我缺少的是实时监控。Sagemaker训练作业会发出cpu和gpu负载等系统指标，您可以在Sagemaker训
浏览 19提问于2020-04-05得票数 3
我正在对一个已经在SageMaker中训练过的模型进行增量训练。我希望将数据添加到现有类中，并创建新类。第一个模型有4个类(num_classes = 4)，但我希望保留这些类并添加3个额外的类。文档中说，在进行增量训练时，num_classes超参数必须相同。但如果是这种情况，这意味着我不能向现有模型添加类，每次我想要更改类的数量时，我都必须从头开始。这是准确的吗？或者，有没有一种方法可以更新现有
浏览 44提问于2019-04-19得票数 1
我正在寻找运行一个预先训练的目标检测模型到一个大约有400k图像的文件夹上，大约是1.5 to。当我尝试在本地运行时，估计需要大约8天才能完成(使用keras yolov3)。分配给我的笔记本的卷是5 5GB的EBS，我的jupyter笔记本空间中确实有其他大量的数据集，这可能会导致这个问题。为了解决这个问题，我正在寻找一种方法，可以将我的数据上传到S3并运行SageMaker来读取托管的图像并运行对象检测模型。然而，看起来没有一种<
浏览 18提问于2020-11-06得票数 0
回答已采纳
我正在使用sagemaker来训练keras模型。在训练模型时，我需要实现早期停止方法。results = model.fit(train_x_trim, train_y_trim,，我们需要调用SageMaker的fit函数，该函数不支持回调
浏览 27提问于2018-11-27得票数 3
我正在尝试以非压缩的方式将训练作业工件上传到S3。 我熟悉可以提供给sagemaker估计器的输出，然后将保存在/opt/ml/ output_dir下的所有内容压缩上载到S3输出目录。我希望可以选择访问特定的工件，而不必每次都解压缩输出。有没有一种干净利落的方法？如果脑海中没有任何变通方法？我感兴趣的工件是较小的元数据文件.txt或.csv，而在我的例子中，其余的工件可能只有1 1GB左右，所以
浏览 26提问于2020-12-23得票数 1
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
