用香蕉也能玩电脑游戏—Tensorflow对象检测接口的简单应用

Tensorflow最近发布了用于对象检测的对象检测接口(Object Detection API),能够定位和识别图像中的对象。它能够快速检测图像允许从视频帧甚至网络摄像头进行连续检测。它也可以用于构建鼠标“Tensormouse”,一个使用网络摄像移动光标的应用程序。

你是否曾经想过使用其他物品比如香蕉来移动你的光标?我们现在就可以实现!

TensorMouse是一个小型的开源Python应用程序,它允许你通过在网络摄像头前移动任意物品(如杯子,苹果或香蕉)来移动光标,他可以做电脑鼠标或触控板的替代品。

TensorMouse允许你用香蕉玩游戏

它是如何工作的?

TensorMouse记录来自网络摄像头的图像序列。然后将这些数据输入到Tensorflow对象检测接口中,返回对象的概率和位置的图。然后移动鼠标光标,使光标位置与图像上对象的位置对应。

例如,如果在图像的左上角检测到对象,光标将移动到屏幕的左上角。

应用程序的主要部分按顺序重复以下步骤:

1.使用OpenCV从网络摄像头进行单帧采集

2.使用Tensorflow对象检测接口进行对象检测

3.根据检测到的对象位置移动鼠标光标

帧采集

使用Python OpenCV模块捕获来自网络摄像头的帧。它提供了一个跨平台的工具,用于快速的图像采集和缩放。然后将图像缩放到360p以提高性能。

对象检测

对象检测用于确定网络摄像头框中所需对象的相对位置。它使用在COCO数据集上训练的Tensorflow对象检测接口固有的Mobilenet神经网络图。该数据集由80个不同的对象组成,主要包括杯子,苹果,餐具等家用物品。

检测到的具有带有相应概率的对象

如果检测到的对象相应的概率超过指定的阈值(一般为85%),则TensorMouse会将该对象视为检测对象,并计算检测到对象的方框的中心。

3.移动鼠标光标

Python包的pynput为执行鼠标指针的移动提供了跨平台支持。基于检测到的对象的相对位置将光标移动到该位置。意思是如果在图像的左上角检测到物体,光标将移动到屏幕的左上角。

应用程序然后返回到步骤1以从网络摄像头检索下一个图像并重复此过程。

如何使用它

应用程序的源代码发布在我的Gitlab repo中。

地址:https://github.com/tadejmagajna/TensorMouse

TensorMouse可以在任何主流的(Windows,Linux或MacOS)平台和几乎任何机器上运行,但是要实现良好的帧速率,它需要一个好点的CPU或支持CUDA的显卡。

安装

安装时要确保包依赖关系都已安装好。

1.安装Anaconda(我推荐安装它的变种Miniconda)

2.从Gitlab复制TensorMouse

3.打开终端并导航到项目根目录

4.conda env create -f environment.yml(Linux / MacOS)或conda env create -f environment-win.yml(Windows)

5.source activate tensormouse(Linux / MacOS)或activate tensormouse(Windows)

运行TensorMouse

一旦安装了依赖项并激活环境,我们可以简单地运行TensorMouse:

python tensormouse.py

然后等待约10-20秒,会有绿色消息显示Tensormouse成功启动。这将运行Tensormouse跟踪其默认对象—杯子。但是你可以通过提供可选参数(obect=”OBJECTNAME”)使其与80个COCO数据集对象中的任意一个配合使用。你还可以使用CTRL和ALT执行点击和拖动。

使用说明

  • 确保光线充足(Tensormouse在光线不好的情况下表现欠佳)
  • 需要对象保持与摄像头的距离,既不能太近导致占用整个摄像头帧,也不能太远导致检测不到
  • 如果你的对象检测性能较差,请尝试运行应用程序设置让它来检测杯子,它检测杯子时还是挺准的

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2017-10-15

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏CreateAMind

ROS探索总结(十一)——机器视觉

机器视觉在计算机时代已经越来越流行,摄像头价格越来越低廉,部分集成深度传感器的混合型传感器也逐渐在研究领域普及,例如微软推出的Kinect,而且...

1862
来自专栏简书专栏

深度学习环境搭建-CUDA9.0、cudnn7.3、tensorflow_gpu1.10的安装

本文作者接触深度学习2个月后,开始进行目标检测实践。 本文作者的专题《目标检测》链接:https://www.jianshu.com/c/fd1d6f784c...

2034
来自专栏机器之心

学界 | 中科院计算所开源Easy Machine Learning:让机器学习应用开发简单快捷

选自Github 机器之心编译 今日,中科院计算所研究员徐君在微博上宣布「中科院计算所开源了 Easy Machine Learning 系统,其通过交互式图...

3285
来自专栏ATYUN订阅号

别再用pip了,用conda安装Tensorflow可使性能速度提升8倍

别再用pip安装Tensorflow了,改用conda吧,它是一个跨平台运行的开源软件包和环境管理系统。因此它适用于Mac,Windows和Linux。如果你还...

4.6K3
来自专栏CSDN技术头条

NNabla:索尼开源的一款神经网络框架

NNabla是一款用于研究、开发和生产的深度学习框架。NNabla的目标是要能在台式电脑、HPC集群、嵌入式设备和生产服务器上都能运行。 安装 安装NNabla...

2236
来自专栏大数据智能实战

微软开源认知服务CNTK的测试(语音训练)

前段时间,微软开源了认知服务的工具箱,直到近期才有时间进行测试。 看了文档,这个CNTK工具包还是非常厉害的,可以支持语音识别,图像分类,机器翻译等多种任务。里...

2875
来自专栏desperate633

TCP/IP之路由算法路由算法的分类链路状态路由算法距离向量(Distance Vector)路由算法层次路由例: 路由器1d的转发表设置

网络层的重要功能就是路由和转发。而路由是根据路由器根据所维护的路由表进行路由选择。所以,如果创建和更新转发表就是一个很重要的问题。通常,在路由时,我们总是选取所...

1751
来自专栏贾志刚-OpenCV学堂

Windows系统如何安装Tensorflow Object Detection API

TensorFlow™ 是一个采用数据流图(data flow graphs),用于数值计算的开源软件库。节点(Nodes)在图中表示数学操作,图中的线(edg...

1551
来自专栏算法+

pytorch 移动端框架 thnets 附c示例代码

前年年前做一个手机移动端图像识别项目的时候, 先后尝试了mxnet,thnets,caffe,tensorflow. 当时的情况是,mxnet内存管理奇差,内存...

4837
来自专栏CSDN技术头条

机器学习算法线上部署方法

我们经常会碰到一个问题:用了复杂的GBDT或者xgboost大大提升了模型效果,可是在上线的时候又犯难了,工程师说这个模型太复杂了,我没法上线,满足不了工程的要...

62810

扫码关注云+社区

领取腾讯云代金券