我终于来到云端,把我的NLP工作提升到了一个更高的水平,但我对我所有的可能性感到有点不知所措。所以我来寻求你的建议。
目前,我认为有三种可能性:
那就是我现在的处境。我非常喜欢SageMaker,尽管我不喜欢缺乏版本控制(至少我目前还没有发现任何东西)。
Cloud9似乎只是一个EC2实例的IDE。在机器学习方面,我还没有发现Cloud9和SageMaker之间的任何比较。也许是因为Cloud9没有被宣传为一个ML解决方案。但这似乎是一种选择。
你对这个问题有什么看法?我错过了什么?你建议我去做什么?你的工作流程是什么?为什么?
发布于 2018-09-14 13:56:57
我正在寻找一个简单的工作环境,我可以快速测试我的模型,准确。不仅仅是我在做这件事,这是一个团队的努力。
由于您是作为一个团队工作,我建议您使用带有自定义码头映像的sagemaker。这样你就可以完全自由地处理你的算法了。码头图像存储在ecr中。在这里,您可以上传相同图像的多个版本,并标记它们以控制不同的版本(这些版本是从git构建的)。
Sagemaker还将执行角色提供给码头映像中。因此,您仍然可以完全访问其他aws资源(如果执行角色具有正确的权限)
own.ipynb在我看来,这是一个很好的例子开始,因为它显示了萨吉克是如何与您的形象互动。
关于其他解决方案的一些注意事项:
您发布的其他解决方案的问题是希望在同一台机器上构建和执行。当然,您可以这样做,但请记住,gpu实例是昂贵的,因此只有在代码准备运行时才会切换到云。
,其他一些笔记,
发布于 2018-10-22 18:16:05
我首先要指出的一点是,SageMaker笔记本并不是唯一可以与SageMaker的其他组件(如培训和托管)交互的IDE环境。事实上,只要安装了AWS或SageMaker Python,您就可以通过Cloud9或安装在EC2上甚至笔记本电脑上的任何IDE对EC2培训/托管进行API调用。
关于IDE的选择,这确实取决于您的特殊需求。SageMaker笔记本是基于木星的(现在也支持JupyterLab测试版),专注于ML,并且完全管理。在ML中常用的数百个Python包,以及Tensorflow、Keras、MxNet、SageMaker Python等,都是为您预先安装和自动维护的。正如人们所能想象的那样,它还与SageMaker的其他组件集成得更紧密。
Cloud9也是一个托管IDE,但它是通用的,而不是特定于ML的。如果你想在cloud9上使用木星,这需要你方额外的工作。它不像SageMaker笔记本那样预装和维护与ML/DL相关的常见软件包。
https://stackoverflow.com/questions/52317237
复制相似问题