干货 | 使用 Tensorflow 物体检测来玩射击游戏《反恐精英》

本篇文章我将介绍如何使用TensorFlow目标检测模型来玩经典FPS游戏——“反恐精英”。

使用我的网络摄像机和TensorFlow目标检测模型玩“反恐精英”

方才,我偶然发现了这样一个有趣的项目。文章作者是利用网络摄像头玩经典游戏“格斗之王”。他借助网络摄像头记录的信息、结合CNN和RNN的使用来识别踢打和拳击的动作。之后,他将模型输出的预测值翻译成游戏中用到的准确动作。这确实是一个很棒的玩儿法~

用网络摄像头和深度学习来玩“格斗之王”。原文可以在这里找到。

受这个项目的启发,我于是做了一个类似的控制界面,它可以通过TensorFlow目标检测模型的预测结果玩FPS(第一人称设计游戏)。

这个项目的代码可以在我的GitHub主页上找到,链接如下:

ChintanTrivedi/DeepGamingAI_FPSAn FPS game controller that uses webcam and deep learning to play games - ChintanTrivedi/DeepGamingAI_FPSgithub.com

我设计的这个控制界面可以处理游戏里如下几个动作:

1.瞄枪

首先,为了在游戏里环顾四周,我将一个网球作为我的目标检测模型。基于屏幕里在我手上的这个网球的位置,我们可以设置鼠标的位置,进而控制我们的玩家在游戏里瞄准的位置。

2.移动玩家

紧接着,为了指挥游戏里的玩家前进,我会检测我的食指动作。当食指竖起来时,玩家会前进;而当我放下手指时,会停止玩家的动作。

3.开枪

第三个支持的动作是开枪。因为两只手都用在了瞄枪和前进上,我只能使用张嘴动作来控制开枪了。

目标检测模型

这个用作目标检测的模型叫MobileNet,它结合SSD使图片本土化。我在不同的网球图片、竖起的食指图片和代表张开嘴的牙齿图片上训练该模型。它会在一个合理的速率上跑,这样我就可以通过轻量级的模型实时控制我们的游戏。

模型性能

就模型的性能而言,游戏中检测手指和牙齿的方法似乎相对可靠些。主要的问题在于能够按照我们想要的位置准确地瞄枪。因为模型是跑在比游戏还低的帧率上的,因此鼠标的移动是跳跃式的、不太流畅。此外,在图片边缘网球的检测效果不好,因此这种方法不太可靠。这个问题可以在离网络摄像头稍远的地方通过微调模型来有效检测目标来解决,这样我们就有足够的空间移动网球,就能够对我们的目标有更好的控制。

这个模型的游戏性能效果可以在我的YouTube上看到。

总结

因为深度学习模型的强化,这个概念已经接近可能。为了替代游戏中更多传统的方式,这种控制机制的实际应用需要变得更完美。我能够预测到这个想法的完美实现将使得FPS的游戏过程变得更有趣。雷锋网

谢谢欣赏。如果你喜欢本篇文章,请在Medium(https://medium.com/@chintan.t93),GitHub(https://github.com/ChintanTrivedi)平台上关注我,或者订阅我的YouTube专栏(https://youtube.com/c/DeepGamingAI)。

本文分享自微信公众号 - AI科技评论(aitechtalk)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-12-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏foochane

TensorFlow基础知识

x1、x2 表示输入,w1、w2 分别是 x1 到 y 和 x2 到 y 的权重,y=x1w1+x2w2。

7740
来自专栏APP自动化测试

AI探索(二)Tensorflow环境准备

Tensorflow支持Windows/Mac/Linux等三种操作系统, 其中windows下python需要安装3.5以上的版本

8840
来自专栏机器之心

PyTorch称霸学界,TensorFlow固守业界,ML框架之争将走向何方?

自 2012 年深度学习再度成为焦点以来,很多机器学习框架成为研究者和业界工作者的新宠。从早期的学术框架 Caffe、Theano 到如今有业界背景的大规模框架...

9230
来自专栏数据魔术师

30行代码搞定简单手写识别!

毕业季刚结束,眼瞅着2018级小萌新马上就要来了,老腊肉小编为了咱学弟学妹们的学习,绞尽脑汁准备编一套大学秘籍,这不刚开了个头就遇上了个难题——做笔记到...

12950
来自专栏大数据文摘

2019机器学习框架之争:与Tensorflow竞争白热化,进击的PyTorch赢在哪里?

2019年,机器学习框架之争进入了新阶段:PyTorch与TensorFlow成为最后两大玩家,PyTorch占据学术界领军地位,TensorFlow在工业界力...

14930
来自专栏磐创AI技术团队的专栏

计算机视觉模型效果不佳,你可能是被相机的Exif信息坑了

为何别人用得好好的人脸识别、目标检测开源模型,到了初学者手中,效果却惨不忍睹?其中原因可能很多,有时候这个原因很“愚蠢”。

10230
来自专栏GitHubDaily

GitHub 标星 2.3k+,比个手势,AI 自动识别 Emoji!

AI 的爸爸,名字叫 Nick Bourdakos (简称 “尼克”) ,是来自 IBM 的程序猿。

12210
来自专栏深度学习和计算机视觉

大型翻车现场,升级到tensorflow 2.0,我整个人都不好了

Tensorflow 2.0发布已经有一段时间了,各种基于新API的教程看上去的确简单易用,一个简单的mnist手写识别只需要下面不到20行代码就OK了,

3.6K20
来自专栏marsggbo

Tensorcore使用方法

深度神经网络训练传统上依赖IEEE单精度格式,但在混合精度的情况下,可以训练半精度,同时保持单精度网络的精度。这种同时使用单精度和半精度表示的技术称为混合精度技...

15620
来自专栏SeanCheney的专栏

《机器学习实战:基于Scikit-Learn、Keras和TensorFlow》第10章 使用Keras搭建人工神经网络

下载本书代码和电子书:https://www.jianshu.com/p/4a94798f7dcc

20530

扫码关注云+社区

领取腾讯云代金券

年度创作总结 领取年终奖励