连AI都在看《英雄联盟》游戏直播

原作:Robert Hunt(FormDs创始人) 李林 问耕 编译整理 量子位 出品 | 公众号 QbitAI

打游戏和看人打游戏,都是一种乐趣。

最近,吃鸡主播约战的事情峰回路转,最终还是没能上演。不光有人在游戏里使用外挂,看游戏直播的也有“外挂”,你信不信?这是真的。

观看游戏直播的群里体,现在多了一个特殊观众:AI。

AI在看哪个游戏的直播?不是最近大热的吃鸡,而是吃鸡制作人一直想要超越的巅峰:《英雄联盟》。

AI怎么看?以及为什么要看呢?

Part I:为什么?

为什么一个人工智能要看游戏直播?实际上,直播背后是这样一种挑战——让AI实时理解视频中正在发生什么,以及预测未来会发生什么。

而游戏是最好的训练场之一。因为在游戏环境中,可以生成大量的训练数据,既容易又便宜。所以AI研究人员非常喜欢在游戏领域搞事情。

你应该知道,所谓视频,不过是快速变化的一组图片。速度大约是每秒显示30或者60帧画面。在《英雄联盟》这款游戏中,画面上有队友也有对手,每个玩家控制的游戏角色都不一样。对于一个看游戏直播的AI来说,起码要搞懂这几件事:

英雄是谁?出现在哪?他们攻击力有多强,以及如何攻击对手。

比方对于下面这么画面。

要能像下面这样提取出核心信息。

Part II: 如何做到?

怎么才能做到?先来看看整个流程。

首先引入一个直播视频流,抽出每一帧画面,然后用AI进行逐一分析。这里,通常使用OBS把捕捉的RTMP流,发送到我们的服务器上。

接着一个运行RTMP模块的Nginx服务器,会收集这些数据流。

然后一帧帧的画面被喂给AI,然后神经网络在每一帧画面上完成标注,抽取出游戏对战信息。这个AI运行在GPU服务器上。

简单来说,整个流程就是下面这张图。

Part III: AI的任务

在《英雄联盟》中,有上百种不同类型的英雄,AI需要能够认出他们。

四中不同的英雄

此外每个英雄都是一个能够全方位移动的3D模型,而且每个英雄都有不同的动作,AI需要在各种情况下认出对应的英雄,即便是乱战的背景下。

画面中的英雄会有各种变化

而且AI还需要搞清楚对手的位置。原因很简单,距离跟战斗息息相关。

由于是处理实时游戏直播,所以AI的处理速度得非常快,至少得能做到每秒处理60帧画面,也就是说每一帧的处理时间要在16毫秒之内。

这中间有些处理技巧,比方你可以投入更多的服务器来处理每帧画面。而且最近几年出现了很多处理实时视频的神经网络,直接从中选一个最好的来用就行。

Part IV:YOLO网络

YOLO是一个缩写,代表You Only Look Once。顾名思义,这个算法只看一眼,就知道一帧画面里都有什么(分类)以及都在哪里(定位)。之前的网络都是分两步完成,先进性分类,再进行定位。使用YOLO网络,两步变一步。

下面这个视频中,借用一段007影片,展示了YOLO如何工作。

视频内容

YOLO网络是由一个传统的卷积神经网络,以及一个非常不同的最后一层以及损失函数组成。在最后一层中,YOLO网络需要包含分类和位置信息。

YOLO网络还需要进一步把输入分割成n×n个网格来描述位置,并在每一个单元上计算输出。

提高YOLO网络位置精度的诀窍是,仅对处于单元中间位置的对象进行预测。由于包含高度和宽度两个参数,所以对象可以跨越多个单元格。这种方法的缺点是,YOLO网络得想办法解决一个网格内的多个对象。解决的办法是复制每个网格中的输出层,这会导致非常大的输出层,参考如下公式:

n×n×m×(4+1+C)

关于YOLO,网上有很多相关资料可以进一步学习。

Part V:训练AI

想让AI干什么,就得用相应的数据训练。上文中的007视频是用现实世界中人和物的数据集训练的,想让AI理解电子竞技的视频流,我们需要用电子竞技视频流中的画面来训练它。

YOLO网络很有意思的一点是,由于它对每个网格都独立进行预测,我们可以用一个英雄来训练网络,当一帧画面中有多个英雄时,只要它们在不同的网格里,网络的操作是类似的。

这大大地简化了训练问题,因为我们我们只需要记录游戏中任何时间点,屏幕上只有一个已知英雄的画面。细节不重要,不过游戏支持训练模式,我们可以指定哪个英雄出现。

我们可以录制一个视频,然后从中提取图像。我们知道有一个已知的英雄,但在做更多工作之前,并不知道英雄出现在画面的什么位置。

输入画面看起来是这样的:

为了获取英雄的位置,我们可以利用它头上有个形状固定且不旋转的红条,也就是血槽这一事实。英雄可以在3D空间移动,但它头顶的红色血槽和他自己的相对位置总是固定的。

但还有一个要注意的小问题,不同画面上的血槽可能看起来不太一样,他可能是空的,也可能是满的,还有一些其他的视觉差异,比如说上面出现的数字。

所以,当我们寻找血槽时,需要一个无论它是满的还是空的,上面数字是什么,都能和它匹配上的特征。

很幸运,血槽周围区域和遮罩(mask)组合起来识别它。遮罩去除了有差异的区域,让一直不变的区域显示出来。

在OpenCV的代码里,就是这样:

cv2.matchTemplate(frame, template, cv2.TM_CCORR_NORMED, mask=mask)

由于视频有压缩,这种匹配永远不能达到完美,但只要我们能让匹配度维持在90%,就能从每一帧画面获取可靠的位置。

找到血槽的位置之后,我们可以断定英雄就在血槽下边。在一帧原始画面上运行图像分析,我们就得到了需要训练AI去识别的位置。

我们在一个小程序中运行图像匹配h器时,能以每秒60次的频率提取输入视频的帧,然后标记出角色和位置。这样,就能很快生成大量的训练数据。

实际上,我们还会选择以慢一点的速度来生成训练数据,每秒忽略一部分图像,这样能让图像之间差异更大。

最后,我们需要用这些输入图像和生成出来的角色、位置标签来训练AI。

我先尝试了用Inception v3模型进行迁移学习,来训练YOLO网络。网络在亚马逊AWS云p2.xlarge机器上,用每一类英雄1000张图的训练数据集训练48小时。

我想说,AWS的AI类服务还是挺贵的,每小时90美分,48小时的训练花了我40美元,几乎是普通服务器成本的10倍。

Part VI:AI表现如何?

我们用一些录制好的视频,试试看效果如何。首先,测试只有一个英雄的画面。

视频内容

YOLO在这段视频中表现良好。英雄出现在画面中时,能被正确识别身份和位置。没有英雄出现的时候,网络也能正确对待。不错!

不过涉及到多个英雄时,效果就没那么好了。比方下面这段视频,画面中有两个英雄,开始他们相互接近,然后又各自逃开。

视频内容

当两个英雄重叠时,AI有时只能辨认出一个英雄,而不是两个。坦白说这也不奇怪,毕竟人眼可能都很难弄清楚实际情况。比方下面这帧画面中,应该有两个英雄:牛头酋长(Ali)和盖伦(garen),但AI只能正确认出一个。

还有一个问题。当两个英雄重叠时,AI有可能会把他们认成一个完全不同的英雄。这显然是一个不好的结果。比方下面这帧画面中,虽然只是一秒钟,但AI既没有认出Ali,也没有认出garen,却认为画面中是特兰德尔(trundle)。

当两个英雄分开,识别又正常了。

未来,我们可以有针对性的用重叠的英雄来训练AI。

Part VII:总结和后续

好的一面

  • 追踪英雄表现良好。大多数情况下,AI都能判断英雄的角色和位置。
  • 速度很快,每帧的处理时间为50毫秒。
  • AI可以在一帧内识别多个英雄,即便训练基于单个英雄完成。
  • 只在标准的云平台上就能做到这些。

差的一面

  • 还处理不好位置重叠的英雄。
  • 现在速度虽然不慢了,但想要达到每秒60帧的标准,必须使用多个GPU交错输出。

接下来,还想尝试不同的网络,不同类型的游戏。关键的是,想找到一个真实世界的案例,可以围绕直播视频用AI搭建一个产品。

好吧,今天就说到这里。

大吉大利,中午吃鸡。

原文发布于微信公众号 - 量子位(QbitAI)

原文发表时间:2017-09-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技大本营的专栏

干货 | 1400篇机器学习的文章中,这10篇是最棒的!

【导读】在过去的一个月中, 作者从近 1400 篇有关机器学习的文章中挑选了最有可能帮助职业生涯发展的 10 篇推荐给大家(入选比率为0.7%)。

10820
来自专栏AlgorithmDog的专栏

深度学习框架大战正在进行,谁将夺取“深度学习工业标准”的荣耀?

深度学习框架大战正在进行,谁将夺取“深度学习工业标准”的荣耀,我们拭目以待。

33370
来自专栏量子位

IBM实现了创纪录的深度学习性能:完败Facebook微软

陈桦 编译整理 量子位 出品 | 公众号 QbitAI 昨晚,外媒都在用夸张的标题报道IBM的人工智能又立功了,例如说IBM的速度快得很“抓马”云云。到底怎么回...

30830
来自专栏祝威廉

如何实现AutoML--让机器先做出Baseline

我之前写过一篇如何实现AutoML -- 先Auto每个环节,大致思路是让机器先自动化每一个小环节,每个环节输出唯一一个结果,这样可以极大的简化搜索空间。比如我...

12710
来自专栏智能算法

2017年关于深度学习的十大预测

Carlos E. Perez对深度学习的2017年十大预测,让我们不妨看一看。有兴趣的话,可以在一年之后回顾这篇文章,看看这十大预测有多少准确命中:) ? 1...

42460
来自专栏ATYUN订阅号

【业界】是时候解决深度学习的生产力问题了

深度学习正在推动从消费者的手机应用到图像识别等各个领域的突破。然而,运行基于深度学习的人工智能模型带来了许多挑战。最困难的障碍之一是训练模型所需的时间。 ? 需...

34960
来自专栏深度学习自然语言处理

谈谈我在自然语言处理入门的一些个人拙见

因为最近在准备本科毕设的论文部分,所以最近原创的相对比较少,但是为了坚持每天学点新知识,我也逼着自己每天抽出晚上的1小时左右把自己想到的并且自己还没理解的小知识...

12120
来自专栏人工智能头条

算法、应用与计算平台,讯飞百度阿里360的深度学习经

28240
来自专栏量子位

深度学习入门该用PyTorch还是Keras?热门公开课换框架背后的学问

李林 问耕 编译整理 量子位 出品 | 公众号 QbitAI ? 你知道fast.ai么? 他们以提供零基础的深度学习课程而闻名,宣称:只要你有高中数学基础、一...

40350
来自专栏PPV课数据科学社区

干货 | 从定义到应用,数据挖掘的一次权威定义之旅

什么是数据挖掘 前两天看到群里有人问,什么是数据挖掘,现在就数据挖掘的概念做一下分析,并且尽量用大白话说一下数据挖掘到底是个啥东西,为啥大数据来了数据挖掘也火了...

30250

扫码关注云+社区

领取腾讯云代金券