专栏首页贾志刚-OpenCV学堂Tensorflow Object-Detection API Mobile models在RK3399+MNN上推理时间比较

Tensorflow Object-Detection API Mobile models在RK3399+MNN上推理时间比较

前言

谷歌近期更新了Tensorflow Object-Detection API里面的detection_model_zoo,模型都是非常前沿的,其性能都处于该领域的领先水平,如下图所示:

引用谷歌官方对这几个模型的介绍:

  1. MobileDets outperform MobileNetV3+SSDLite by 1.7 mAP at comparable mobile CPU inference latencies. MobileDets also outperform MobileNetV2+SSDLite by 1.9 mAP on mobile CPUs
  2. MnasFPN with MobileNet-V2 backbone is the most accurate (26.6 mAP at 183ms on Pixel 1) mobile detection model we have released to date. With depth-multiplier, MnasFPN with MobileNet-V2 backbone is 1.8 mAP higher than MobileNet-V3-Large with SSDLite (23.8 mAP vs 22.0 mAP) at similar latency (120ms) on Pixel 1.
  3. SSDLite with MobileNet-V3-Large backbone, which is 27% faster than Mobilenet V2 SSDLite (119ms vs 162ms) on a Google Pixel phone CPU at the same mAP.
  4. SSDLite with MobileNet-V3-Small backbone, which is 37% faster than MnasNetSSDLite reduced with depth-multiplier (43ms vs 68ms) at the same mAP.

RK3399及MNN1.0环境

笔者的RK3399系统是带桌面的Xubuntu,系统自带Opencv4.0, 因此不需要安装Opencv。MNN可以在RK3399板子上直接编译,无需交叉编译。编译主要有三部分,模型转换部分,模型推理部分,模型训练部分,编译教程网上有很多,这里不多做叙述。

Tensorflow Object-Detection API环境

想使用这几个最新的模型,就需要更新detection_model_zoo库及tensorflow的版本,detection_model_zoo下载最新的即可,笔记是20200704下载的,tensorflow_gpu的版本是1.15,python3.5,CUDA10.0,cudnn7.6,其他的话,缺什么安装什么。

模型导出及部署

Tensorflow模型的导出及部署,参考了这篇知乎文章:https://zhuanlan.zhihu.com/p/70610865,按照这篇文章,可以得到MNN框架部署需要的mnn模型。笔者在RK3399测试的性能如下(未做量化,仅代表笔者的测试结果):需要说明的是,模型在运行过程中,板子非常容易发热,而导致模型的推理时间变长。

最后贴几张基于ssd_mobilenet_v3_large测试的效果图:

本文分享自微信公众号 - OpenCV学堂(CVSCHOOL),作者:小黄弟

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-07-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 手撕OpenCV源码之高斯模糊

    从上述代码的大致分析中可以知道,OpenCV的GaussianBlur本质上依然是filter2D,只是针对一些特殊情况进行了GPU和CPU版本的优化,如果输入...

    OpenCV学堂
  • 速度提升一倍,无需实例掩码预测即可实现全景分割

    论文链接:https://arxiv.org/pdf/1910.03892.pdf

    OpenCV学堂
  • 干货|手把手教你在NCS2上部署yolo v3-tiny检测模型

    如果说深度学习模型性能的不断提升得益于英伟达GPU的不断发展,那么模型的边缘部署可能就需要借助英特尔的边缘计算来解决。伴随交通、医疗、零售等行业中深度学习应用的...

    OpenCV学堂
  • windows下 mongodb 连接,备份,还原远程服务器上的数据库(在cmd命令窗口实现)

    使用的是mongo命令,如果安装mongodb时配置了环境变量,可以直接快捷键windows+R打开cmd。

    acoolgiser
  • 鹅厂的成长收获

    毕业之后在上海、成都、上海的城市中徘徊,每一次城市迁徙都带我许多的烦恼; 于是在2017年初时,我回到了深圳,选择加入当时对我来说是神秘的存在——腾讯。 至...

    落影
  • 探讨计算机视觉前沿技术,加速智慧城市落地应用 | CNCC 2019

    中国计算机大会CNCC 2019(10.17-19)即将在苏州开幕。本次会议据估计将有8000+人次参会,会议包括十六位国内外计算机领域知名专家、企业家的大会报...

    AI科技评论
  • 教程 | 如何快速训练免费的文本生成神经网络

    机器之心
  • LiteAVSDK 迎来最新的 6.8 版本

    该功能通过调用 ITXLiteAVNetworkProxy.h 中的 setSocks5Proxy 接口进行设置,可以参考 Socks5 代理服务器的的搭建方案...

    腾讯云视频
  • 4.2 VR扫描:《爱莉克斯》助Index创下历史最大增幅;HTC单独出售Cosmos Elite头显

    (VRPinea4月2日电)今日重点新闻:Steam2020-03数据:《爱莉克斯》助Index创下历史最大增幅;HTC开始单独出售Cosmos Elite头显...

    VRPinea
  • sqlplus spool 到动态日志文件名

          通过sqlplus的spool功能我们将数据库日常运维的结果输出到日志文件,而有时候则需要定时输出,为避免日志文件名的重复,我们可以将输出的日志文件...

    Leshami

扫码关注云+社区

领取腾讯云代金券