资料数据适得其所,Amazon构建完善资料架构

source:paixin.com

数据资料的重要性早已是企业未来最重要资产,资料数据的产生、储存、运算、分析与应用,并利用机器学习与深度学习建立推论;而Amazon作为全球最大公有云平台,对资料架构的建立不遗余力,希望能利用完善资料架构因应多元垂直应用领域。

Data Ingestion与Data Lake的重要性

Amazon对资料撷取和资料储存的建置相当重视,关键在于资料来源相当多元,而不同资料来源会产生不同资料格式,因此能收集来自不同来源(如CRM/ERP系统等)和不同格式(如时间序列/非时间序列)的Data Ingestion功能便相当重要,例如NFS、DMS等功能,可协助客户在进行大规模资料收集和储存时,能顺利将不同格式资料放入Data Lake中。

资料进入Data Lake后,便可进行更多资料服务与应用,包括视觉化、资料分析、建立人工智能模型等,亦可将机器学习先行置入于Data Lake前,可将资料先行分类与筛选;若是针对实时(Real-Time)需求的资料应用,则会以事件(Event)作为触发点,以进行资料处理或推论应用。

以IoT Core作为核心并导入AI进行Inference

Amazon现阶段针对IoT市场主要以Amazon IoT Core为核心,并作为边缘端与云端间的接口,边缘端(着重Sense与Act)包含Amazon Greengrass及Amazon FreeRTOS,目前与全球主要MCU厂商皆有紧密合作;在云端部分(着重Storage、Computing与Learn),则有包含IoT Device Management、IoT Device Defender、IoT Analytics;借由边缘端与云端的串接,让IoT资料可从头至尾获得完善的储存与应用。

AI的导入则是Amazon未来发展重心,Amazon机器学习分3层,从底层往上至应用服务分别为ML Frameworks、ML Services、AI Services,Frameworks部分可支援GPU、CPU等主流硬件,以及现下市场上主流AI框架,例如Caffe2、TensorFlow;ML Services采用Amazon自家开发软件Amazon SageMaker及Amazon Mechanical Turk,协助客户AI模型的建置、训练、调校、部署。

随着AI模型的训练完成(客户可自行训练,亦可利用Amazon的AI Services进行快速导入),可将AI模型部署进入边缘端,也就是利用Amazon Greengrass ML实现该目标,让应用场域可拥有更快的认知与反馈能力。

文丨拓墣产业研究院 刘耕睿

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20181024A0TJZJ00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券