一次不成功的深度学习实践-微信跳一跳

最近微信的跳一跳小程序火了一把,所以前天也更新了微信玩了几盘,最多手动到200左右就不行了。

后来准备用代码写个辅助工具,上Github一查,已经有人做出来了,17年12月29号的项目,不到5天差不多5K的stars,以后还会更多,简直可怕。

https://github.com/wangshub/wechat_jump_game

具体思路都差不多:

用adb调试手机,获取截图;

从截图中识别棋子和目标块的中心点位置;

根据距离计算长按时间,系数和屏幕分辨率相关;

用adb模拟长按,完成跳跃。

唉,多么可惜,错过了一个好项目。

既然别人已经实现了,那就尝试点不一样的,用深度学习解决一下。

基本思路

基本流程类似,唯一的区别在于如何获取棋子和目标块的中心位置。

假如长按时间只取决于棋子和目标块的水平位置,那么只需要知道它们水平方向上的坐标即可。

可以看作一个物体检测问题,检测出截图中的棋子等物体,这里假设共包含七类物体:

棋子:chess

彩蛋块:包括污水 waste、魔方 magic、商店 shop、音乐盒 music

普通块:包括矩形块 rect、圆形块 circle

模型实现

我手动标注了500张截图,基于ssd_mobilenet_v1_coco模型和TensorFlow物体检测API,训练好的模型跑起来是这么个结果。

可以看到截图中的棋子、魔方、矩形块、圆形块都被检测了出来,每个检测结果包括三部分内容:

物体位置,用矩形标注,对应四元组 ymin、xmin、ymax、xmax;

物体类别,为以上七类中的一种;

检测置信度,越高说明模型对检测结果越有把握。

这不仅仅是简单的规则检测,而是真正看到了截图中共有哪几个物体,以及每个物体分别是什么。

所以接下来,就只需从检测结果中取出棋子的位置,以及最上面一个非棋子物体,即目标块的位置。

有了物体的边界轮廓,取中点即可得到棋子和目标块的水平坐标,这里进行了归一化,即屏幕宽度为1,距离在0至1之间。然后将距离乘以一个系数,作为长按时间并模拟执行即可。

运行结果

看起来很不错,实际跑分结果如何呢?

大概只能达到几百分,问题出在哪?

主要是标注数据太少,模型训练得不够充分,所以检测结果不够准确,有时候检测不出棋子和目标块,而一旦出现这类问题,分数必然就断了。

尝试了以下方法,将一张截图朝不同的方向平移,从而得到九张截图,希望提高检测结果的召回率,但仍然有检测不出来的情况,也许只有靠更多的标注数据才能解决这一问题。

规则检测

模型训练了20W轮,依旧存在检测不出来的情况,郁闷得很,干脆也写一个基于规则的 简单版代码 好了。

花了不到20分钟写完代码,用OpenCV提取边缘,然后检测棋子和目标块的水平中心位置,结果看起来像这样。

事实证明,最后跑出来的分数,比之前的模型要高多了……

说好的深度学习呢?

总结

面对以下情况时,基于人工经验定义规则,比用深度学习训练模型要省力、有效很多:

问题本身比较简单,不需要复杂的抽象;

标注数据比较有限,难以充分训练模型;

错误惩罚很高,对错误不能容忍。即便模型在99%的情况下能完美运行,1%的错误立马让游戏直接结束了,此时反而不如hard code的规则靠谱。

当然,如果大家能一起努力,多弄些标注数据出来,说不定还有些希望。

代码在Github上:https://github.com/Honlan/wechat_jump_tensorflow

不说了,我继续刷分去了,用后面写的不到一百行的代码…

本文来自企鹅号 - 宏伦工作室媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏疯狂的小程序

微信跳一跳之深度实践

最近微信的跳一跳小程序火了一把,所以前天也更新了微信玩了几局,最多手动到200左右就不行了。

28010
来自专栏人工智能头条

分布式深度学习(I):分布式训练神经网络模型的概述

8053
来自专栏ArrayZoneYour的专栏

TensorFlow强化学习入门(3)——构建仿真环境来进行强化学习

在上一篇文章中,我演示了如何设计一个基于策略的强化学习agent来解决CartPole任务。在本文中,我们将从另一个角度重新审视这个问题——如何构建仿真环境来提...

2K6
来自专栏机器之心

教程 | 基于Keras的LSTM多变量时间序列预测

3968
来自专栏ATYUN订阅号

伪排练:NLP灾难性遗忘的解决方案

有时,你需要对预先训练的模型进行微调,以添加新标签或纠正某些特定错误。这可能会出现“灾难性遗忘”的问题。而伪排练是一个很好的解决方案:使用原始模型标签实例,并通...

3416
来自专栏大数据挖掘DT机器学习

用libsvm进行回归预测

作者:kongmeng http://www.cnblogs.com/hdu-2010/p 最近因工作需要,学习了台湾大学林智仁(Lin Chih-Jen)教授...

5227
来自专栏ATYUN订阅号

使用keras创建一个简单的生成式对抗网络(GAN)

然而,有些恶意的顾客为了获得金钱而出售假酒。在这种情况下,店主必须能够区分假酒和正品葡萄酒。

4284
来自专栏量化投资与机器学习

如何使用LSTM网络进行权重正则化来进行时间序列预测

作者 / Jason Brownlee 翻译 / 编辑部翻译组 来源 / http://machinelearningmastery.com 权重正则化是一种对...

5788
来自专栏机器之心

学界 | 搜索一次就够了:中科院&图森提出通过稀疏优化进行一次神经架构搜索

作者:Xinbang Zhang, Zehao Huang, Naiyan Wang

1425
来自专栏机器之心

专栏 | 手机端运行卷积神经网络实践:基于TensorFlow和OpenCV实现文档检测功能

机器之心投稿 作者:腾讯 iOS 客户端高级工程师冯牮 本文作者通过一个真实的产品案例,展示了在手机客户端上运行一个神经网络的关键技术点。 前言 本文不是神经网...

4245

扫码关注云+社区

领取腾讯云代金券