问AWS SageMaker -实时数据处理

EN

AWS SageMaker是AWS中一个健壮的机器学习服务，它管理着机器学习实现的各个主要方面，包括数据准备、模型构建、培训和微调以及部署。

制备

SageMaker使用了一系列资源来简化为机器学习模型准备数据的工作，尽管它来自多种来源或格式各异。

很容易标记数据，包括视频、图像和文本，这些数据被自动处理成可用的数据，并带有SageMaker地面真相。GroundWork将使用自动分割和一组工具来处理和合并这些数据，以创建一个可以用于机器学习模型的单一数据标签。AWS与SageMaker数据管理器和SageMaker处理一起，将可能需要数周或数月的数据准备阶段缩短为几天，甚至几个小时。

构建

SageMaker Studio笔记本将与机器学习模型相关的所有内容集中在一起，使它们与相关数据一起方便地共享。您可以从各种内置的开源算法中选择开始使用SageMaker JumpStart处理数据，也可以为机器学习模型构建自定义参数。

一旦选择了模型，SageMaker就会自动处理数据，并提供一个简单易懂的界面来跟踪模型的进度和性能。

训练

SageMaker提供了一系列工具，用于从您准备的数据中训练您的模型，包括一个内置调试器，用于检测可能的错误。

机器学习培训作业的结果保存在桶中，可以使用其他S3服务(包括)查看它们。

部署

如果强大的机器学习模型不能很容易地部署到您的主机基础设施中，那么就没有任何意义。幸运的是，SageMaker允许将机器学习模型部署到当前服务和应用程序中，只需单击一次即可。

SageMaker允许在安装后进行实时数据处理和预测.这在金融和卫生等多个领域产生了深远的影响。例如，在股票市场经营的企业可能会对股票进行实时财务决策，并通过确定最佳买入时机进行更具吸引力的收购。

将其与亚马逊的理解相结合，允许自然语言处理，将人类的语音转换成可用的数据来训练更好的模型，或者通过Amazon向客户提供聊天机器人。

在结论中…

机器学习不再是一种利基技术好奇心；它现在在世界各地数千家公司的决策过程中扮演着关键的角色。再没有比现在更好的时候开始您的机器学习之旅了，几乎没有限制的框架和简单的集成到AWS系统中。

听起来你只熟悉SageMaker的培训部分。SageMaker有几个不同的组件：

1. 木星笔记本
2. 标记
3. 培训
4. 推论

您最有可能处理的是#3和#4。这里有几种使用SageMaker的方法。您可以使用内建算法之一，它提供可以在SageMaker上启动的培训和推理容器。要使用这些，您可以完全在控制台上工作，只需指向S3中的数据，类似于AWS。如果您没有使用内置的algos，那么如果您使用的是一个通用框架，如tensorflow、mxnet、py手电筒或其他，那么您可以使用sagemaker-python-sdk来创建培训和预测容器。最后，如果您使用的是超级自定义算法(如果您是从AWS移植的话)，那么您可以携带自己的对接器容器进行培训和推断。

若要创建推理端点，可以转到推断部分下的控制台，然后单击周围以构建终结点。参见此处的gif以获得一个示例：

​

除此之外，如果您想使用代码实时调用端点，可以使用任何AWS，我将在这里用python boto3演示：

import boto3
sagemaker = boto3.client("runtime.sagemaker")
response = sagemaker.invoke_endpoint(EndpointName="herpderp", Body="some content")

在这段代码中，如果您需要将传入的字符串值转换为数字值，那么您可以很容易地使用代码完成这一任务。

是的可以！您必须创建管道(Preprocess + model + Postprocess)，并将其部署为端点以进行实时推断。您可以在sagemaker站点中重复检查推理示例。它使用来训练和部署。1:这是小数据滑雪板模型。

管道

2:它还支持大数据(星火ML管道服务容器)，您也可以在它的官方github中找到这个例子。