腾讯云 AIoT 解决方案

3
腾讯内部独家 IOT 资料包
4
腾讯云大学热门学习路径,0基础上手
1
腾讯云 AIoT 解决方案 - 课程PPT
  • 1
    关注“腾讯产业互联网学堂”公众号加群互动有好礼相送
  • 2
    向学习君回复口令 “IoT”
  • 3
    获得课程福利包
腾讯产业互联网学堂微信公众号
“腾讯产业互联网学堂”微信公众号

讲师简介

童航君

腾讯云IoT高级产品经理

有多年linux kernel,虚拟化,容器和k8s的开发经验,对云计算IaaS/PaaS产品,物联网AI架构有较为深刻的理解,现在主要负责AIoT产品的策划工作

简介

人工智能物联网(Artificial Intelligence & Internet of Things),即AIoT旨在通过物联网产生、收集海量的数据存储于云端、边缘端,再通过大数据分析,以及更高形式的人工智能,实现万物数据化、万物智联化,物联网技术与人工智能追求的是一个智能化生态体系。 本次课程我们将邀请到腾讯云IoT高级产品经理童航君,帮助开发者快速理解AIoT以及腾讯云的AIoT解决方案。

课程讲义

物联网边缘智能数据处理(IoT Edge Intelligent Data Process,IoT EIDP)面向物联网运营企业,提供包括边缘 AI 盒子或网关等形态的边缘 AI 计算平台,以及云端管理平台服务,让客户可以简单、快速、低成本地实现边缘 AI 数据处理能力。IoT EIDP 可以让客户方便地创建边缘节点、选购各类 AI 算法模型、发布自有 AI 模型或二次开发应用、并通过云端控制台一键部署至边缘侧,让物联网数据处理响应更快速、带宽要求更低,进一步节约客户运维成本。 IoT EIDP应用场景有智慧工厂、智慧零售、智慧农牧、安防监控等。

伴随着信息大爆炸和通讯技术的发展,“AIoT”俨然成为了当前科技和互联网领域的一个热门词汇,各大知名厂商纷纷表示自己要布局AIoT。到底什么是AIoT?AIoT到底有些什么优势呢?「腾讯云大学」为大家整理了大咖直播课《腾讯云 AIoT 解决方案》的回顾,看看腾讯云的IoT高级产品经理是如何理解AIoT的。

目前我们已经处于一个万物互联的时代,随着人工智能技术的发展以及技术之间的相互融合,我们也想把万物互联转换成万物智联。把原来的AI能力附着在通信能力之上,就形成了AI+IoT的架构。如图所示,左下角部分是物联网通信技术,右上角是云上的AI推理平台。传统的解决方案都是类似这样,把AI放在云端,这样的方案是否会存在不足之处呢?

试想一下,在家居或者是商务场景中,会有一些边缘的摄像头,我们通过这些摄像头获得视频流数据,这些数据经过物理连接层、网络接入层、IoT Hub或IoT Video等通信渠道到达云端,在AI推理平台中进行推断,推断结束后再以相同链路返回边缘侧。这样至少会带来2大问题:高额的流量成本和远程调用的高时延。这不禁使我们腾讯云的团队去思考如何改良这种方案。

除此以外,我们也接收到了很多不同的需求,希望在边缘侧快速实现AI的功能。比如在智慧工厂方面,一些客户对分布各地的企业工厂在圣餐过程中的半成品、成品进行自动化的质量检测。智慧零售方面,AI应用于广泛分布式部署的无人货柜、商铺智能导购等场景,需要迅速识别商品人员。

随着技术的发展与融合让边缘AI落地成为可能。容器编排技术经过4年时间的发展逐渐成熟,这种技术让应用更容易地移植到云端;AI加速芯片的出现使得边缘智能设备的算力大幅提高并可灵活伸缩:不同AI计算框架让AI应用开发者的上手门槛大幅降低,他们可以更快地开发出应用;成熟的物联网数据采集技术为AI模型训练输入提供了良好基础。

前面说了这么多AIoT技术的发展和应用场景,以及我们腾讯云试图去改善AIoT的背景。那么,腾讯云针对于目前AIoT的需求推出了什么解决方案呢?

腾讯云关于边缘AIoT的解决方案是IoT EIDP。IoT EIDP与其他物联网组件、AI组件共筑腾讯云AIoT,具体结构如下图。

IoT EIDP主要有以下6大特点:设备自动接入、脱机AI计算、丰富算法市场、快速二次开发、快速一键部署和主流硬件平台。丰富的算法市场指的是集合了腾讯自有AI算法、第三方AI算法,满足不同客户对不同边缘场景下的需求

基于IoT EIDP的6大特点,可以给用户带来更快速地数据相应,更低的带宽和云存成本,更便捷的系统部署与维护,以及一站式的AI算法选择、硬件平台选择。

为了给用户好的使用体验,IoT EIDP采用了独特的技术架构。首先我们来看看总体架构,下图虚线框内就是总体架构,主要分为3个部分:应用与模型发布工具、应用与模型分发平台、边缘网关/盒子软件栈。应用与模型分发平台会对用户的应用、模型市场的应用、边缘侧设备进行管理。

接下来我们来看看各部分的细节是怎么样的。应用于模型发布架构有Docker管理、应用管理、可视化编辑应用、应用发布4个功能,和应用与模型分发平台架构的设备管理、应用管理、设备群组管理、应用群组管理4个模块分别对应。

软件栈的部分是边缘AI能力的基础,以容器引擎为底座,可以支持基于各类AI加速芯片的硬件平台。容器之上是设备接入服务,支持各类协议接入,如MQTT、RTSP/RTP/RTCP等。再往上看,是核心服务和智能分析服务。智能分析服务中有一个AI中间键,让用户可以根据自己的需求选择不同配置的AI加速器。最上层的是模型应用服务和云端连接服务,在模型应用服务推断出结果后,通过窄带和宽带推流连接到云端。除此以外,我们还设置了安全服务。

边缘侧是怎样实现边缘AI的技术细节呢?首先是服务发现与注册功能,会经过微服务启动——服务发现——服务调用——健康检查几个环节。​

在数据处理方面,我们开放了至少15个模型,这些模型分为两类,一类是基础模型,即我们把模型能力进行抽象,提供简单易用的SDK,实现整个推断的流程。

另一类是高阶的AI数据的处理。边缘AI软件协议栈内置gRPC和RESTful API两种调用方式,方便开发者在1分钟内部署AI推理模型,同时,这个模型基于OpenVino中间件,可以快速提升性能。

数据处理完之后就涉及到数据分发的流程了。分发流程集成IoT Hub的窄带通信能力,以及IoT Video的宽带通信能力,实现结构化数据输出以及事件触发联动的视频输出。

前面有提到过,在边缘侧有一个垂直的安全的能力。这个安全的能力是指我们会结合腾讯云物联网中心,运用一款TID的产品,它主要提供模型版权保护和边缘设备身份认证两个功能。

一般边缘AI数据都特别大,有些用户会担心如果直接分发到云端的话,是否会造成大流量、大存储的问题。确实可能会有这样的影响,但是我们在边缘侧采用的是Docker的技术,天然地运用了镜像分层的原理,能使用同一个机组接纳容器,共用同一块数据空间,这样可以节省存储。同时,基于设备预装的Docker容器中间件,可以将基于同样AI中间件的应用模型,分发流量由平均2G下降到小于1G。

为了搭配IoT EIDP的软件平台,我们还提供了运行边缘AI的硬件,支持灵活VPU算力和多达16路1080P的视频编码、解码,保证用户快速地实现边缘AI的能力。

IoT EIDP 可以让客户方便地创建边缘节点、选购各类AI算法模型、发布自有 AI 模型或二次开发应用、并通过云端控制台一键部署至边缘侧,让物联网数据处理响应更快速、带宽要求更低,进一步节约客户运维成本。

Q&A

Q:平台是否提供公开的算法模型

A:提供,目前我们已经上线了15个模型,之后我们还会开放生态,欢迎各厂家和个人开发者自己上传模型。

Q:一个盒子可以支持多个模型吗?

A:可以,因为是基于OpenVino的,OpenVino天然的调度框架就支持多个模型。

全部评论
讲师/助教

评论