Natural Evolution Strategies

原作者: Daan Wierstra, Tom Schaul, Tobias Glasmachers, Yi Sun, Jan Peters, Jurgen Schmidhuber

[本文博客链接](https://zhenyuechin.github.io/2018/01/22/wirestra2014natural/)

Natural Evolution Strategies (NES), 以下翻译为自然选择策略, 是一种黑箱式优化算法. 所谓黑箱式优化算法, 是说我们只需要告诉计算机"什么解法是好的", "什么解法是坏的". 具体来说, 我们需要有一个函数, 该函数能够针对一个解法, 返回一个该解法"多好"的程度的值. 除此之外, 我们不需要操心怎么样找到好的解法. 这一切交给计算机做就好.

目前主流的黑箱优化算法包括神经网络, 进化算法等. 传统算法难以解决的问题, 比如旅行推销员问题(Travelling salesman problem), 在这些新式算法的协助下, 得到了相当令人满意的答案.

Wirestra等人提出了将进化算法和神经网络中的梯度下降思路结合在一起的想法. 传统的进化算法包含突变和重组这两个步骤. 我们通过这两个步骤, 期待找到更好的解法. 然而, 突变和重组是完全随机的. 多数情况下, 他们会导致和当前解法相比更差的解法. 因此, 我们想引入梯度下降(gradient descent)或梯度上升(gradient ascent)的思想, 从而使得突变总是能够朝着更好的解法迈进.

换句话说, 我们用梯度下降替代了突变和重组步骤.