使用神经网络+遗传算法玩转Flappy Bird | 教程
问耕 编译整理 量子位 出品 | 公众号 QbitAI
震惊！《Flappy Bird》火了这么多年，竟然没有中文名字。
没事。这不妨碍各路AI大触用这款游戏练手。比方说今天这个HTML5教程，就是教你使用神经网络+遗传算法，搭建一个玩转小鸟的AI。
提前说一下，教程最后有这个AI的代码下载。所有的代码都是使用Phaser框架使用HTML5完成的。另外，神经网络使用了突触神经网络（Synaptic Neural Network）库，而不是从零开始搭建。
Demo
上面是Demo演示的截图，访问下面这个网址，能够看到这套算法的实际效果。
http://www.askforgametask.com/html5/tutorials/flappy/
不方便观看上面在线Demo，或者没有耐心的同学，可以选择观看下面这个视频演示短片，中间有几倍速度的画面快进。
算法
这套系统的算法，主要是基于NeuroEvolution（神经进化）。这种机器学习方法，使用遗传算法（GA）等进化方法来训练人工神经网络（ANN）。
也就是说，这个例子中的机器学习=遗传算法+神经网络
人工神经网络
人工神经网络是机器学习算法的一个子集，它受到生物神经网络结构和功能的启发，这些网络是由很多彼此发送信号的神经元组成。
一个神经网络由输入层，一个或多个隐藏层，以及输出层组成。每层都有一些神经元，输入和输出层的神经元直接与外部环境相连。
在这个项目中，每个智能体（也就是小鸟）都有自己的神经网络作为闯关的AI大脑。这些大脑由三层组成，结构如下：
- 一个输入层，两个神经元，代表小鸟到豁口的水平距离和垂直距离
- 一个隐藏层，六个神经元
- 一个输出层，一个神经元，执行如下动作：如果输出>0.5就飞一下
上述文字，也可以用下面这张图表示：
遗传算法
我们在这里使用遗传算法，来训练和改进神经网络。
遗传算法顾名思义，是一种借鉴了自然选择和遗传过程的基于搜索的优化技术。这种算法使用相同的选择、组合交叉和变异的组合，来进行初始的随机演化。
以下是我们遗传算法实现的主要步骤：
- 使用随机神经网络创建10个初始的小鸟（种群）
- 让小鸟使用他们自己的神经网络，同时起飞玩游戏
- 对于每个小鸟，计算适应度函数来衡量飞行质量
- 当所有小鸟死亡时，使用遗传算子把当前种群评估到下一代
- 重复步骤2
适应度函数
对于上面的第3步，我们深入谈一下适应度函数的细节，以及如何定义。
由于我们想要使用最好的个体（小鸟）来进化种群，所以需要定义一个适应度函数。
一般来说，适应度函数用来衡量对象的质量。我们队每一只小鸟都进行测量，并从中选择合适的个体，用以生成下一代种群。
在这个项目中，我们按照小鸟的飞行距离给予奖励。另外，我们会根据小鸟和下一个豁口的距离给予惩罚。按照这种方式，就可以区别哪些飞行了同样距离的小鸟。
替代策略
对于上面第4步中遗传算法，下面是实现的步骤。基本上，最好的小鸟个体会生存下来，它们的后代会取代表现最差的那些。
- 现有种群的个体按照适应度进行排序
- 选择前四名给予奖励，直接把它们传给下一代种群
- 排名最高的两个个体，进行交叉组合，生成一个后代
- 前四名中随机选择两个个体，交叉组合产生三个后代
- 前四名中随机选择两个个体，生成两个直接复制的后代
- 对于每个后代，施加一些随机变异
代码
上述代码，可以访问如下地址获取：
https://github.com/ssusnic/Machine-Learning-Flappy-Bird
结论
在这个教程中，我们成功的让AI学会玩Flappy Bird这个游戏。在几次迭代之后，我们可以得到一个几乎无敌的小鸟。为了实现这一目标，我们采用了两种机器学习算法：人工神经网络+遗传算法。
如果你对这个项目感兴趣，未来可以尝试改变代码中的一些参数，看看会发生什么。例如，可以改变隐藏层中的神经元数量或者每一代种群的个体数量。当然还可以对适应度函数进行修改，比方加入障碍物之间的距离、重力等等因素。
以及，你可以尝试把类似的理念应用到其他游戏中去！
祝好运~