前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >体验极致推理性能!30分钟带你快速掌握AI开发与边缘部署

体验极致推理性能!30分钟带你快速掌握AI开发与边缘部署

作者头像
用户1386409
发布2022-08-31 16:04:59
9410
发布2022-08-31 16:04:59
举报
文章被收录于专栏:PaddlePaddlePaddlePaddle

深度学习经过多年发展,AI 已经深入人心。在图像、文本、视频、语音等领域,AI 已在各行各业落地应用。我们熟知的自动驾驶、语音助手、智能质检,背后就大量运用了 AI 技术。

在AI产业化进程中,如何快捷落地一直是大家关注的问题。边缘开发环节,分散、轻量、低算力、异构多样是常见的基本情况。AI模型数据本身对算力、网络的要求比较高。如何在精度、性能、成本之间取得平衡是AI开发者在边缘部署过程中面临的巨大挑战。

1 五大灵魂拷问

AI 模型端部署难点在哪里?

  • 灵魂拷问一:我的使用场景需要我将模型部署到端上,但是端上开发可能会面向嵌入式设备,操作系统也可能是Android、iOS,有一定的上手成本,怎样才能更轻松地把模型落地到硬件设备上?
  • 灵魂拷问二:这些年出了好多加速芯片、加速卡、边缘计算盒,价格便宜还不占地,我想知道它们跑模型能达到什么样的精度和性能,帮助我进行选型。
  • 灵魂拷问三:我训练好的模型适配XX芯片,要在各种模型格式之间转来转去,有点头大,好不容易模型格式对齐了,又有算子OP不支持,我该怎么办才能让它跑起来?
  • 灵魂拷问四:我想换个芯片,却发现怎么各家芯片的端上推理模型格式都不一样,又得从头适配,模型转起来想想就头大。
  • 灵魂拷问五:费了九牛二虎之力,模型在端上跑起来了,可是速度不是太理想,我想让它跑得更快,更省内存。听说量化、剪枝、蒸馏这方面挺有用,但是好像自己研究代码耗时太久。

2 EasyEdge

提供最广泛的硬件平台适配

上述问题是开发者在端上部署模型时经常遇到的难点,为了解决这些问题,百度推出了EasyEdge端与边缘AI服务平台。通过EasyEdge,开发者可以便捷地将AI模型部署到各式各样的AI芯片和硬件平台上。

大家可以从上图中看到,EasyEdge提供最广泛的硬件和平台适配,30+种AI芯片与硬件平台,4大主流操作系统。

  • 你想把模型部署到Windows PC上?没问题,安排!
  • 发布到手机上?Android还是iOS,随便选!
  • 近期新增了浏览器/小程序部署,也将为广大用户在部署方面提供更多选择!
本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2022-05-26,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 PaddlePaddle 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
边缘可用区
腾讯云边缘可用区(TencentCloud Edge Zone,TEZ)是腾讯云的本地扩展,适用于解决计算、存储和服务可用性问题。腾讯云边缘可用区可为您带来云的诸多优势,例如弹性、可扩展性和安全性。借助腾讯云边缘可用区,您可以在靠近最终用户的地理位置运行对延迟敏感的应用程序,基本消除延迟问题。腾讯云边缘可用区提供与中心节点一致的体验,助力业务下沉,具备更低延时、更广覆盖、更少成本等特点。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档