一次不成功的深度学习实践 - 微信跳一跳

最近微信的跳一跳小程序火了一把,所以前天也更新了微信玩了几盘,最多手动到200左右就不行了。

后来准备用代码写个辅助工具,上Github一查,已经有人做出来了,17年12月29号的项目,不到5天差不多5K的stars,以后还会更多,简直可怕。

https://github.com/wangshub/wechat_jump_game

具体思路都差不多:

  • 用adb调试手机,获取截图;
  • 从截图中识别棋子和目标块的中心点位置;
  • 根据距离计算长按时间,系数和屏幕分辨率相关;
  • 用adb模拟长按,完成跳跃。

唉,多么可惜,错过了一个好项目。

既然别人已经实现了,那就尝试点不一样的,用 深度学习 解决一下。

基本思路

基本流程类似,唯一的区别在于如何获取棋子和目标块的中心位置。

假如长按时间只取决于棋子和目标块的水平位置,那么只需要知道它们水平方向上的坐标即可。

可以看作一个 物体检测 问题,检测出截图中的棋子等物体,这里假设共包含七类物体:

  • 棋子:chess
  • 彩蛋块:包括污水 waste、魔方 magic、商店 shop、音乐盒 music
  • 普通块:包括矩形块 rect、圆形块 circle

模型实现

我手动标注了500张截图,基于ssd_mobilenet_v1_coco模型和TensorFlow物体检测API,训练好的模型跑起来是这么个结果。

可以看到截图中的棋子、魔方、矩形块、圆形块都被检测了出来,每个检测结果包括三部分内容:

  • 物体位置,用矩形标注,对应四元组 ymin、xmin、ymax、xmax;
  • 物体类别,为以上七类中的一种;
  • 检测置信度,越高说明模型对检测结果越有把握。

这不仅仅是简单的规则检测,而是 真正看到了截图中共有哪几个物体,以及每个物体分别是什么。

所以接下来,就只需从检测结果中取出棋子的位置,以及最上面一个非棋子物体,即目标块的位置。

有了物体的边界轮廓,取中点即可得到棋子和目标块的水平坐标,这里进行了归一化,即屏幕宽度为1,距离在0至1之间。然后将距离乘以一个系数,作为长按时间并模拟执行即可。

运行结果

看起来很不错,实际跑分结果如何呢?

大概只能达到几百分,问题出在哪?

主要是标注数据太少,模型训练得不够充分,所以检测结果不够准确,有时候检测不出棋子和目标块,而一旦出现这类问题,分数必然就断了。

尝试了以下方法,将一张截图朝不同的方向平移,从而得到九张截图,希望提高检测结果的召回率,但仍然有检测不出来的情况,也许只有靠更多的标注数据才能解决这一问题。

规则检测

模型训练了20W轮,依旧存在检测不出来的情况,郁闷得很,干脆也写一个基于规则的 简单版代码 好了。

花了不到20分钟写完代码,用OpenCV提取边缘,然后检测棋子和目标块的水平中心位置,结果看起来像这样。

事实证明,最后跑出来的分数,比之前的模型要高多了……

说好的深度学习呢?

总结

面对以下情况时,基于人工经验定义规则,比用深度学习训练模型要省力、有效很多:

  • 问题本身比较简单,不需要复杂的抽象;
  • 标注数据比较有限,难以充分训练模型;
  • 错误惩罚很高,对错误不能容忍。即便模型在99%的情况下能完美运行,1%的错误立马让游戏直接结束了,此时反而不如hard code的规则靠谱。

当然,如果大家能一起努力,多弄些标注数据出来,说不定还有些希望。

代码在Github上:https://github.com/Honlan/wechat_jump_tensorflow

不说了,我继续刷分去了,用后面写的不到一百行的代码…

PS:上次的 送书活动,抽取结果为以下五人,请 微信 联系我发送收件地址。

\( ̄[  ̄)]□ 孙弃疾 天赐三木 PENG 我就是这样的人

原文发布于微信公众号 - 宏伦工作室(HonlanFarm)

原文发表时间:2018-01-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

手把手教你在浏览器中使用脸部识别软件包 face-api.js

我可以很激动地说,我们终于有可能在浏览器中运行人脸识别程序了!在这篇文章中,我会给大家介绍一个基于 TensorFlow.js 核心的 JavaScript 模...

19910
来自专栏CreateAMind

运动信息向量的神经网络学习 code、ppt、视频ok

官方代码还未开放, http://visualdynamics.csail.mit.edu/

7820
来自专栏深度学习那些事儿

浅谈深度学习中超参数调整策略

深度学习中,设计模型以及保证模型的正确性是首要需要考虑的。当模型设置完成时,理论上模型不存在问题,实现效果也通过计算可以复现出来。一切准备就绪后,那么接下来需要...

22150
来自专栏机器之心

业界 | Facebook开源Mask R-CNN的PyTorch 1.0基准,比mmdetection更快、更省内存

项目地址:https://github.com/facebookresearch/maskrcnn-benchmark

26830
来自专栏深度学习那些事儿

浅谈深度学习中超参数调整策略

深度学习中,设计模型以及保证模型的正确性是首要需要考虑的。当模型设置完成时,理论上模型不存在问题,实现效果也通过计算可以复现出来。一切准备就绪后,那么接下来需要...

359110
来自专栏AI研习社

你在数据预处理上花费的时间,是否比机器学习还要多?

Nuts-ml 是一个新的 Python 数据预处理库,专门针对视觉领域的 GPU 深度学习应用。 它以独立、可复用的单元模块的形式,提供主流数据预处理函数。...

38680
来自专栏CVer

经典卷积神经网络(CNN)结构可视化工具

本文将介绍一种在线网络工具,可用于可视化各种经典的卷积神经网络结构。学习Caffe的同学,一定很熟悉Netscope。它就是用来可视化Caffe的prototx...

18800
来自专栏数据派THU

教你用Keras和CNN建立模型识别神奇宝贝!(附代码)

在今天博客的最后,你将会了解如何在你自己的数据库中建立、训练并评估一个卷积神经网络。

67910
来自专栏机器之心

教程 | 如何快速训练免费的文本生成神经网络

28850
来自专栏人工智能LeadAI

梯度下降法快速教程 | 第三章:学习率衰减因子(decay)的原理与Python实现

前言 梯度下降法(Gradient Descent)是机器学习中最常用的优化方法之一,常用来求解目标函数的极值。 其基本原理非常简单:沿着目标函数梯度下降的方向...

38750

扫码关注云+社区

领取腾讯云代金券