基于云计算的 CV 移动交互应用研究(1):CV交互+云计算

导语:Google Translate App 以word Lens即时相机翻译黑科技与 基于云计算架构的“统计机器翻译”的强大服务后台,引爆大众关注。“CV交互+移动终端+云计算” 这一跨界结合展示了极大的潜力。

视频演示

二话不说先来demo应用场景展示。第一个是android手机通过chrome浏览器访问外网的H5页面,调用手机摄像头传输当前图像到云计算后台服务,得到头部姿态识别结果,在当前页面画出识别结果。

视频内容

视频1 :Web H5的使用展示

视频内容

视屏2 ,Unity 客户端的展示

来源

What?

为了说明项目(技术尝试Demo)的概念,先看几个有关联的的技术方案及产品。上述3图是CV结合云计算在移动终端上的应用案例,以Google Translate App为例进行介绍。

Google Translate的核心技术在于“统计机器翻译”,基本思想是通过对大量平行语料进行统计分析,构建统计翻译模型进而使用此模型进行翻译。简单的说,Google Translate在生成译文时,会在大量人工翻译的文档中查找各种模型,进行合理的推测,从而得到恰当的翻译。之所以使用云计算架构,是由于机器翻译需要海量的数据存储空间以及高效的运算能力。

Google提供了语音识别,触摸手写,即时相机翻译(真黑科技)。真正引爆大众关注的是其名为Word Lens即时相机翻译新技术与其强大处理后台结合提供的便利性。

CV交互 + 移动终端+ 云计算是一种极富有潜能的跨界产物。

Why?

  • 基于CV的交互
  • 更自然、方便的体验
  • 移动终端 + 云计算
  • 网络带宽渐渐不是问题
  • 在线更新算法,更快的迭代
  • 本地数据有限,云端数据可扩展,模型灵活
  • 应用-服务分离
  • 轻客户端
  • 一种服务后台——多种端末应用
  • 更方便的用户数据收集、管理
  • 目的
  • 探讨基于CV的游戏交互的新体验
  • 可验证、可持续发展“服务-应用”框架

系统构成

不同的客户端(Mobile App 或者web)将图像信息通过网络发给云服务器,云服务器进行CV算法处理,将结果返回(json格式)客户端。

云服务器由Nginx代理代理服务器、后台应用程序、CV算法库和日志评估组成。

Nginx代理服务器,代理路由来自不同客户端(类型、个体)的请求,发送到合适的后台应用服务进程;

后台应用服务程序根据请求的多线程启用CV算法模块库进行处理。

数据流图

具体的数据流图、涉及到相关技术(红色是规划而未实现)如上图所示。需要特别说明的是,系统方案设计的客户端上传的是图像信息,可以是具体编码压缩后的图像信息,也可以是经过机器学习预处理后高度降维的图像特征信息。只不过这一方面还没有开始着手进行。

算法服务

如上图所示,算法服务程序由任务框架、算法模块库、日志和评估子系统构成,部分相关依赖开源库如图所示。

任务框架(CS)支持多任务扩展、支持多线程、支持多算法模块组合;算法框架(Core)面向对象设计、扩展方便。

前端应用

前端应用基于接口实现接口统一,不同的客户端平台具有差异的平台适配。

统一的接口

  • 统一入口地址
  • POST方式
  • URL : IP + Port + Location
  • 统一数据包
  • 典型的发送数据包
  • 结果返回包
  • 统一交互模式

差异的平台适配

  • 不同平台上设备接口获取
  • 不同框架系统的处理逻辑加载
  • 不同应用的不同数据使用

这部分考虑后面系列再来说明。

相关推荐:

《基于云计算的 CV 移动交互应用研究:头部姿态估计综述(2)》

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏玉树芝兰

如何高效入门Github?

如今的编程,早已不是单打独斗的模式了。优秀的编程人员,甚至是初学者,都必须学会如何与他人高效协作。Github是编程协作中须要掌握的基础知识。如何尽快入门,少走...

9620
来自专栏CDA数据分析师

如何短时间内快速掌握数据可视化神器Power BI?

作者 CDA 数据分析师 BI 其实是 Business Intelligence 的缩写,意思是商业智能。“Excel”是大多数业务人员必需熟练掌握的办公工...

272100
来自专栏PHP在线

18个配色(色彩搭配)资源网站——设计师福利

原文出处: 4A广告创意分享 01. Material Palette —— 帮你生成并导出Material Design配色模板 链接地址:http:/...

47780
来自专栏儿童编程

Python Turtle动画的另一种实现方式——改变坐标系

通过研究Python 自带turtle案例,发现了实现动态效果的有一种方式——重构坐标体系(‘setworldcoordinates’)。

39820
来自专栏架构师之路

互联网公司研发RD如何撰写总体设计与详细设计文档

研发工程师(RD)需要撰写的设计文档主要分为:总体设计文档 + 详细设计文档,后简称为“总设”+“详设”。 总设和详设都应该包含的部分: (1) 需求:一般以产...

62670
来自专栏顾宇的研习笔记

[翻译]混沌工程的原则

本文已存放在 https://github.com/wizardbyron/principlesofchaos_zh-cn 上,欢迎来 PR

25530
来自专栏互联网数据官iCDO

如何使用MozBar确定电商产品页面关键词

译者:陈明艳 审校:李晓艳 本文长度为2234字,预估阅读时间4分钟 关键词:电子商务、搜索引擎优化(SEO)、页面关键词捷径、MozBar 电子商务网站进...

30240
来自专栏美团技术团队

流量运营数据产品最佳实践——美团旅行流量罗盘

背景 互联网进入“下半场”后,美团点评作为全球最大的生活服务平台,拥有海量的活跃用户,这对技术来说,是一个巨大的宝藏。此时,我们需要一个利器,来最大程度发挥这份...

402100
来自专栏磐创AI技术团队的专栏

DrQA基于维基百科数据的开放域问答机器人实战教程

【磐创AI导读】:本文主要向大家推荐一个开放域问答机器人的实战项目。欢迎大家点击上方蓝字关注我们的公众号:磐创AI。

8710
来自专栏十月梦想

最近状态闲谈----学习小程序

        最近突然想学习小程序,说干就干!近段时间在学习,可能博客更新内容没有之前那么频繁,预祝博客在前端分类下新增小程序分类,记录微信小程序学习的一些心...

11020

扫码关注云+社区

领取腾讯云代金券