专栏首页高性能计算高性能深度学习推理引擎 OpenPPL 正式开源!
原创

高性能深度学习推理引擎 OpenPPL 正式开源!

OpenPPL 是商汤基于自研高性能算子库的开源深度学习推理平台,能够让人工智能应用高效可靠地运行在现有的 CPU、GPU 等计算平台上,为云端场景提供人工智能推理服务。

OpenPPL

官网:openppl.ai

在刚刚举行的 2021 世界人工智能大会(WAIC)上,商汤科技正式推出 OpenPPL 计划 —— 决定将深度学习推理部署引擎 SensePPL 中云端推理的能力开源给技术社区,从而加速 AI 技术的普及与进步!

SensePPL

▎把推理交给 OpenPPL,把时间还给思考

OpenPPL 基于全自研高性能算子库,拥有极致调优的性能;同时提供云原生环境下的 AI 模型多后端部署能力,并支持 OpenMMLab 等深度学习模型的高效部署。

一、高性能

设计微架构友好的任务/数据/指令等多级并行策略,自研 NV GPU、 x86 CPU 计算库,满足部署场景对神经网络推理、常用图像处理的性能需求

  • 支持 GPU T4 平台 FP16 推理
  • 支持 CPU x86 平台 FP32 推理
  • 核心算子优化,平均性能领先业界

二、OpenMMLab 部署

支持 OpenMMLab 检测、分类、分割、超分等系列前沿模型,同时提供模型前后处理所需图像处理算子

  • 遵循 ONNX 开放标准,提供 ONNX 转换支持
  • 支持网络动态特性
  • 提供 MMCV 算子高性能实现

三、云上多后端部署

面向云端异构推理场景,支持多平台部署

  • 支持 x86 FMA & AVX512、NV Turing 架构
  • 支持异构设备并行推理

▎项目链接

欢迎 star,欢迎提 issue~

  • https://github.com/openppl-public/ppl.nn
  • https://github.com/openppl-public/ppl.cv
OpenPPL

▎结语

机器学习的发展远没有结束,我们将始终关注业界的进展。OpenPPL 会吸收业界的需求,长期维护并完善算子的种类,模型支持的类型,并将长期优化模型推理全链条。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 从 0 到 1,使用 OpenPPL 实现一个 AI 推理应用

    深度学习推理框架 OpenPPL 已经开源了,本文以一个图像分类实例,从 0 到 1 讲解如何部署一个深度学习模型,完成一个 AI 推理应用。

    Aceyclee
  • 模型部署优化的学习路线是什么?

    模型部署优化这个方向其实比较宽泛。从模型完成训练,到最终将模型部署到实际硬件上,整个流程中会涉及到很多不同层面的工作,每一个环节对技术点的要求也不尽相同。

    Aceyclee
  • NVDLA 深度学习推理编译器正式开源

    为深度学习设计新的定制硬件加速器显然很受欢迎,但是用一种新的设计实现最先进的性能和效率是一个复杂和具有挑战性的问题。

    GPUS Lady
  • 英伟达深度学习推理引擎TensorRT,现在开源了

    本次开源的内容是英伟达 TensorRT 的一部分,其中包括 TensorRT 的插件与一些解析器(Caffe 和 ONNX),以及演示 TensorRT 平台...

    机器之心
  • 轻量级深度学习端侧推理引擎 MNN,阿里开源!

    数说君导读:MNN,Mobile Neural Network,用于在智能手机、IoT设备等端侧加载深度神经网络模型,进行推理预测。支持 Tensorflow、...

    数说君
  • AI+云计算=更好的企业运营?

    不久前,国内领先中立云计算服务商UCloud和人工智能技术与服务提供商第四范式,联手推出的“第四范式·先知”UCloud专属公有云版本,引起了业界的广泛关注。在...

    企鹅号小编
  • 高通发布神经处理引擎SDK,开发骁龙处理器的深度学习潜能

    陈桦 编译整理 量子位 报道 | 公众号 QbitAI ? 为了在各类设备上实现基于深度学习的软件开发,高通为骁龙系列移动处理器开发了“神经处理引擎”(NPE)...

    量子位
  • 微信二维码引擎OpenCV开源!3行代码让你拥有微信扫码能力

    2011年12月微信3.5版本正式上线“扫一扫”二维码,历经9年蜕变,“扫一扫”从二维码名片到扫码支付、从小程序码到健康码,二维码已经成为一种生活方式,连接着数...

    AI算法与图像处理
  • 加速AI应用落地,英特尔AI 2.0的进阶之道

    人工智能模型的复杂度不断增加,对内存的需求也越来越大。深度学习的进一步发展需要解决内存限制问题,而当前的解决方案无法利用所有可用计算,业内人士逐渐意识到需要专用...

    AI科技大本营
  • 50万行代码量,腾讯开源框架Angel3.0发布,迈向全栈机器学习平台

    近年来,随着深度学习技术的发展,越来越多的科技巨头开发自己的机器学习平台。昨日,华为宣布将与明年第一季度开源自家的 AI 框架 MindSpore,引起极大关注...

    机器之心
  • 如何让搜索引擎拥有“生命”?

    在许多人看来搜索引擎只是一个检索工具,就像其他冷冰冰的科技产品一样。实际上,搜索引擎正在成为人人依赖的智能助手。它在拥有感知环境和自我学习的能力后,随着岁月流逝...

    罗超频道
  • 贾扬清推荐:阿里开源轻量级深度学习框架 MNN,侧重推理加速和优化

    MNN 是一个轻量级的深度学习端侧推理引擎,核心解决深度神经网络模型在端侧推理运行问题,涵盖深度神经网络模型的优化、转换和推理。目前,MNN 已经在手淘、手猫、...

    新智元
  • 如何使用 CNN 推理机在 IoT 设备上实现深度学习

    用户1737318
  • 蒋杰:腾讯大数据平台每日数据计算量超30万亿

    在11月6日召开的Techo开发者大会上,腾讯云副总裁、腾讯数据平台部总经理蒋杰博士正式对外披露腾讯大数据平台10年技术演进历程。经过10年的积累,腾讯大数据平...

    Techo
  • 国内首个支持量子机器学习,520的「飞桨」再次全新升级!

    5月20日,在这个空气中弥漫中浓浓爱意的日子,又迎来了百度一年一度的“Wave Summit 2020”深度学习开发者峰会。本次大会由深度学习技术及应用国家工程...

    AI科技评论
  • 薅百度GPU羊毛!PaddlePaddle大升级,比Google更懂中文,打响AI开发者争夺战

    深度学习已经推动人工智能进入工业大生产阶段,而深度学习框架则是智能时代的操作系统。

    AI科技大本营
  • 业界 | 英特尔深度学习产品综述:如何占领人工智能市场

    机器之心原创 作者:Haojin Yang 参与:Jake Zhao、侯韵楚、黄小天 2017 年 2 月 9 日,机器之心技术分析师应邀参加了在 SAP 创新...

    机器之心
  • 百度跨平台 AI 推理加速引擎 -- Anakin

    AI技术包含训练和推理两个阶段。推理阶段的性能好坏既关系到用户体验,又关系到企业的服务成本,甚至在一些极端应用上(比如无人驾驶)直接关系到个人生命财产安全。目前...

    程序员宝库
  • 微软张若非:搜索引擎和广告系统,那些你所不知的AI落地技术

    这两年,被誉为“皇冠上的明珠”的自然语言处理领域发展愈发火热,成为了业内新宠,而搜索和广告这两大老牌技术领域似乎已被大家遗忘。其实,这两大接地气的工程领域仍是各...

    AI科技大本营

扫码关注云+社区

领取腾讯云代金券