教你用python实现游戏图像识别,让计算机全自动替你玩转“跳一跳”

昨天,我们用Excel完成了一个跳一跳的辅助工具,没错,就是那个制表格的家伙噢。。。

不过呢,还是需要一部分手动的,需要人工找出画面上的起跳点和落脚点,告诉了Excel之后,Excel才能控制小人跳跃。

今天,我们来尝试下,能不能用python完全自动化的解决这个问题呢?

里面有各种学习资料和我整理的一份2018最新0基础入门视频,都无偿提供给大家,还有各种资料和开发工具包满足大家,希望搭建一个好的学习环境,每天里面更新最新Python市场行情。‘

二、实际效果

上述流程图中,读取屏幕、计算距离、跳跃,都是稳定的技术手段,相信看看后面简单的介绍你肯定能搞定。

识别小人位置和着落点的算法才是难点,也是实现全自动跳跃的关键环节,并且如果游戏内容发生变化,识别算法还需要跟进做适应性修改。好吧,先看下本代码的实际识别效果

为了调试图片识别算法,我把手机屏幕读入计算机后,取了一个不重复的时间戳放在文件名中,这样每一步的截图都能顺序保留下来。其后执行图像分析识别时,再将识别过程标记在图片上,最后保存识别的结果。这么处理之后,如果算法有问题就很容易发现问题并加以调试了。

三、实现技术

1、实现对手机的控制,基于ADB 命令行实现。这是一个官方的android手机工具包,很小,下载后也无需安装,直接运行命令行就能完成截屏、传文件、点击等任务。

3、实现图片内容的识别

引入PIL(Python Imaging Library),它能提供基本图像操作,比如图像缩放、裁剪、旋转、颜色转换等,

可以用其中的Image.open 加载图片文件,getpixel读取指定点的颜色,putpixel修改指定点的颜色,save用于保存修改后的图片,show调用Windows照片查看器来显示图片,方便调试。

四、主要算法

1、【从手机读取当前游戏屏幕】

os.system("adb shell screencap -p 手机上的文件名")os.system("adb pull 手机上的文件名 本地磁盘的文件名")

2、【识别出画面中小人位置和目的地中心点位置+计算出两点之间的距离点数】

专门用了一个distance函数,该函数输入的参数是(图片文件名,识别结果文件名),输出就是距离点数

其中图片文件名就是前一步骤的“本地磁盘的文件名”。识别的过程中,在原图片上做辅助线绘图,并把识别的效果保存在新文件中,这样如果有识别错误的场景,就可以对比识别前后的图片,进而调整distance的算法了。

distance函数的具体内容较长,简单讲下思路,具体实现请直接看源码。

distance函数算法:拿到图片后,首先找小人,以脚部颜色为特征,搜索到后取均值。然后以屏幕上方空白处颜色为种子,逐行搜索到最顶部物件的顶点,由于屏幕背景色为渐变色,搜索时逐行替换新的背景色,避免偏差较大。找到物件顶点后,以其为出发点向下逐行判断物件宽度,找到最宽的一行,该行物件宽度中点即为目的地。

3、【需要按压屏幕的时间=距离X经验系数】

按压时间 = int(距离 * 系数)

4、【按照指定的时间模拟按压屏幕】

os.system("adb shell input swipe 10 20 15 {:d} {:d}".format(random.randint(20, 80), int(距离 * 系数))))

五、关于成绩的有效性

写这个代码主要乐趣在完成控制任务本身,而不在于分数能不能保留。所以没做太多掩饰。即便如此,实测现在的代码自动跳跃也是能产生有效成绩的,如果你的成绩无效,请注意检查下:1、分数太高超出人力极限的分数肯定不保留。2、正常分数幅度内的,系统也可分析你的操作是否规律来判断是不是外挂,譬如始终差不多的频率跳一下,每次都能命中中心点,每次模拟滑动都触摸同一个位置,那么也很容易分析出你是机器人操作。

所以,如果你分数丢失的话,请自行调整代码,加随机数让点击屏幕的位置不同,不要每次都命中中心,两次跳跃之间要加一点随机延时。

六、实验代码下载

下载的代码执行时请注意修改这两处

运行界面

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180117A10LQC00?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券