基于心理学和数据驱动的方法进行游戏《LOL&王者荣耀》事件检测与亮点事件预

最近几年人工智能已经得到了所有业界人士的关注,也得到了国家政府的大力支持,在这样美好的环境中,我们应该把重心放在创新,怎么利用现有的知识去创新的算法、框架、模型等,也要利用现有的高新技术去完善生活中的一些实际工作。

比如去年的出现的阿尔法围棋,也就是大家耳熟能详的AlphaGo,由谷歌(Google)旗下DeepMind公司的戴密斯·哈萨比斯、大卫·席尔瓦、黄士杰与他们的团队开发。其主要工作原理是“深度学习”。去年到2017年初让AlphaGo火遍全球。

今日,AlphaGo 2.0在乌镇又与柯洁对弈,得到了很多人的关注。这也让“TPU”再一次掀起一次浪潮,Jeff Dean 甚至直接放出了与GPU的性能对比图。从昨天的赛后采访到今天的主旨演讲,哈萨比斯等人一直在强调TPU对新版本的AlphaGo的巨大提升。看来,TPU将会成为接下来一段时间内谷歌的战略重点。据介绍,第二代 TPU 设备单个的性能就能提供高达 180 teraflops 的浮点计算量。不仅如此,谷歌还将这些升级版的 TPU 集成在一起成为 Cloud TPU。每个 TPU 都包含了一个定制的高速网络,构成了一个谷歌称之为“TPU pod”的机器学习超级计算机。一个TPU pod 包含 64 个第二代TPU,最高可提供多达 11.5 petaflops,加速对单个大型机器学习模型的培训。

http://mp.weixin.qq.com/s/1X9xiZkmVPI-j-aipr-ocg(这是AlphaGo 2.0的具体算法简单介绍。)


但今天的主角不是AlphaGo 2.0也不是什么TPU。今天的主角是最近比较火热的游戏——LOL&王者荣耀!

居然深度学习可以在围棋上大有作为,那是不是在游戏中的检测也可以做得很好,之前谷歌就训练的上百款基于DL的小游戏,说明这条路是可以行得通,而且最终的效果也非常有效。

现在就有这样的团队在解决游戏直播过程中出现的一些问题,比如有时候游戏直播我们会没有第一时间看到精彩的游戏时刻,因为我们不能每时每刻都能预测到亮点事件(也就是精彩的团战时刻),现在可以基本解决这个问题。

注:下文有很多细节没有具体描述,有兴趣的朋友可以自己去进一步去挖掘,去学习。


比如在直播过程中,出现了“一血”,但是我们有时候没有看到这个事件场景(可能镜头在其他战队人员处),这样就让直播的热度降低,接下来来说说直播过程中游戏精彩事件检测和亮点事件的预测。

最近几年在线直播平台出现迅速。流媒体视频服务,包括编辑的视频节目,电影,电视节目和赛事直播。2014每月有100百万独立用户观看160亿分钟的视频流。在同一年超过11百万的视频在这个平台上每月播出。如此巨大的用户和网络流量意味着很大的商业潜力和许多技术上的挑战。各种各样的问题,高效的访问显然是做流媒体平台取得成功的关键因素。在这项工作中,将以LOL为例,从事件的角度和亮点探讨有效的问题。

  • 流媒体直播系统

作为流媒体直播系统的出现,许多作品已被提出,从不同的角度,系统研究。kaytoue等人专注于电子竞技视频流,可以让职业玩家和流媒体平台获得潜在的收益。他们还发现,观众的数量可以被预测和解释。Pires呈现了数据集主要由两个主要用户生成的直播流系统收集组成,如:Twitch和YouTube。这丰富的数据集中,他们主要在这些系统研究总体的带宽,独特的通道数量和流行分布。Hamilton在Twitch上提供了视频游戏直播流的调查。他们采访了几个Twitch用户,发现互动的难度有所影响用户的感觉,他们探索了流媒体系统的设计问题和影响,提升Twitch流媒体系统以及其他流媒体服务的线索。

  • 游戏视频分享

在游戏视频的研究,特别是从视觉的角度分析,比较少。在这里,调查相关文献可视化分析游戏视频。Douglass利用多种图像处理和计算机视觉技术来显示游戏记录。例如,记录游戏关键帧,以网格方式显示和多帧叠加许多帧以创建显示复现视觉假象的平均图像。Lewis分析球员的动作,如每分钟的动作空间变异行为,挖掘相关的行为和赢得比赛之间的关系。毫不奇怪,他们发现玩家能够以最快动作执行往往会赢得比赛。rioult提取拓扑学的线索,如多边形区域中玩家的移动,预测多人在线对战竞技场比赛的结果。

事件检测

在LOL游戏中,一些重要的事件,例如某人的杀戮,文本消息呈现在屏幕上,如图1a所示。

通过认识到这个信息和联想它与相应的时间戳。图2显示了游戏所有生成文本的接口。这样的演示使用户能够快速掌握游戏的进度,并能使游戏视频的访问变得更重要。

图2 文本生成接口

图1主要显示了事件检测的整个流程图。对于每个视频帧,首先应用Sobel边缘探测器提取边缘(图1b),并进行二值化以过滤出弱边缘(图1 c)。通过形态学操作,包括扩张和侵蚀(图1d),更多噪声边缘像素被过滤掉,连接边缘像素的最小Bounding-Box被检测到。太小的Bounding-Box最后被丢弃(图1e)。

图1 事件检测的整个流程图

检测到的文本区域通常有混乱的背景,这就会阻碍准确文字识别。图3显示了检测到的区域样本。最终使用了Tesseract OCR package进行微调,降阈值设置为0.6。为了抵抗噪音,在持续时间内收集匹配结果并确定以多数票通过的事件。

在模型中设置了一个识别文字的集合W={w1,w2,...,wM},与预先设置的句子对比,预先句子如表所示:

其中,W组成的Bounding-Box被表示为i,如果i=arg max_i |W∩Si|,其中|·|表示输入单词的个数。如果识别的Bounding-Box里的文字与任何Si都不匹配,这个Bounding-Box被视为噪音并丢弃。

精彩事件预测

据估计,2014年Twitch平均消耗了1Tbps带宽 ,平均每月花费1000万美元。因此,如何在不牺牲用户体验的情况下保存带宽是非常重要的。为了解决这个问题,流媒体平台的最佳策略之一是动态地调整流媒体的比特率,这样可以降低传输带宽和观众观看的质量可以得到保护。

应用了遗传算法,利用了交叉操作和相对应的后期处理。

为了预测一个精彩事件,一个简单的方法是假设在一个局部区域精彩事件示的发生概率是相同的。局部平均概率在第t秒的计算如下:

mt=αht+(1-α)mt-1

其中,ht表示精彩事件在第t秒的概率,通过SVM模型给出概率值。α是一个平滑常数,用来平衡目前发生的ht和之前平滑值mt-1。

上述方法假设数据是没有趋势。然而,更多的一些视觉线索,比如游戏玩家聚集在一起时,会出现一个精彩事件。因此,采用布朗的线性指数平滑方法,更有效捕获时变趋势,以预测精彩事件发生的概率。设置m'为平滑系数:

m't=αht+(1-α)m't-1

再设置m''为双平滑系数,m''t=αht+(1-α)m''t-1。在(t + k)秒中出现精彩事件的概率被估计为:

ht+q=Lt+kTt

其中,Lt=2m't—m''t-1表示在第t秒估计水平,且Tt=(α/(1-α))(m't—m''t-1)表示在第t秒估计趋势。通过共同考虑估计的水平和趋势,估计精彩事件发生的概率是在q 秒钟后。


评估

收集了2014年LOL大奖赛的24场比赛数据。

事件检测结果:

可视化:

该结果对应了表中的S7;

该结果对应了表中的S8;

该结果对应了表中的S5;

精彩事件预测结果:

不同大小窗口和不同视频长度检测的结果比较。


总结:

事件检测:当事件发生时指定的消息在重要游戏时显示在屏幕上。通过检测和识别显示的文本来检测事件,然后构造一个索引连接游戏视频的事件和时间戳。因此,自动文本广播可以作为事件检测的副产品实现并可用于方便快捷的访问。

精彩事件发现:重要事件,显著的视觉效果,以及观看者的共同考虑去检测事件的重点。两个突出的检测方法提出:基于唤醒模型的心理生理方法和基于支持向量机的数据驱动方法。游戏的精彩事件,比如由专业记者编辑的一个剪切,因此可以自动生成以促进高效的浏览。为了进一步提高重点精彩事件检测,找到了每个候选的最佳子分段,并将其作为一个优化问题通过遗传算法去解决。

重点精彩事件预测:从流媒体的角度来看,如果根据视频内容的重要性动态调流媒体比特率,则可以更有效地利用网络带宽。基于特征的特性和精彩事件的建模,预测在接下来的几秒钟内是否会有亮点,以便流媒体服务器可以相应地调整其流设置。

本文分享自微信公众号 - 计算机视觉战队(ComputerVisionGzq)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-05-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PPV课数据科学社区

目前数据科学和机器学习中使用的最多的20个包

CRAN包库有6778个常用的包。哪些是你知道的?下面对此进行以下的分析,同时在文章底部另请参见原始数据链接。 这些R包都是Kagglers里的技术大牛最青睐的...

38050
来自专栏AI研习社

Andrej Karpathy谈神经网络:这不仅仅是分类器,这是一种新的软件开发思想

有越来越多的传统编程语言(C、C++、Java)等程序员开始学习机器学习/深度学习,而对机器学习/深度学习的研究人员来说,编程也是必备技巧。那么传统程序员和深度...

34240
来自专栏机器学习AI算法工程

Slope one:简单高效的推荐算法

推荐系统最早在亚马逊的网站上应用,根据以往用户的购买行为,推荐出购买某种产品同时可能购买的其他产品,国内做的不错的当当网,有时候买书,它总能给我推荐出我感兴趣的...

36360
来自专栏人工智能快报

科学家尝试将人工智能嵌入移动系统

基于神经网络的人工智能系统最近创造了多项佳绩:战胜人类围棋大师、创造品酒记录、迷幻艺术作品大奖,但若做到将这些异常复杂的高能耗系统用于现实并将其集成到便携式设备...

37170
来自专栏专知

【下载】JAVA程序员深度学习实用指引《Deep Learning: Practical Neural Networks》

【导读】 Yusuke Sugomori等人的新书《JAVA深度学习实战》(Deep Learning: Practical Neural Networks w...

387120
来自专栏玉树芝兰

如何用人工智能帮你找论文?

传统的关键词检索论文,浩如烟海的结果让你无所适从?试试人工智能检索引擎。根据你的研究兴趣和偏好,便捷而靠谱帮你找论文。

15210
来自专栏AI科技评论

Andrej Karpathy发文谈神经网络:这不仅仅是分类器,这是一种新的软件开发思想

AI科技评论按:有越来越多的传统编程语言(C、C++、Java)等程序员开始学习机器学习/深度学习,而对机器学习/深度学习的研究人员来说,编程也是必备技巧。那么...

33750
来自专栏量子位

Google大脑工程师详解:深度学习技术能带来哪些新产品?

量子位 | 李林 整理编译 提到深度学习,你可能会想到认猫、认脸,或者下围棋、翻译……其实,这项技术还能用在很多你意想不到的地方。 那么,“深度学习的最新进展能...

35070
来自专栏IT派

深度学习在安全方面的影响日益增长

导语:深度学习因为其积极影响成为了2017年最流行的流行语之一。深度学习(更准确地应该被称为深层神经网络)试图模拟大脑的活动。自20世纪50年代末以来,神经网络...

36780
来自专栏机器学习算法与Python学习

报告 | 腾讯知文,从0到1打造下一代智能问答引擎【CCF-GAIR】

2018年7月1日上午自然语言处理专场中腾讯知文算法负责人钟黎就NLP、NLU、dialogue等面临的问题,做了其“从0到1打造下一代智能问答引擎”的报告。

21000

扫码关注云+社区

领取腾讯云代金券