增强模型的探索能力-强化学习NoisyNet原理及实现！
增加Agent的探索能力是强化学习中经常遇到的问题，一种常用的方法是采用e-greedy的策略，即以e的概率采取随机的动作，以1-e的概率采取当前获得价值最大的动作。本文我们将介绍另一种方法：NoisyNet，该方法通过对参数增加噪声来增加模型的探索能力。
论文地址：https://arxiv.org/abs/1706.10295v1
1、NoisyNet的原理
我们的噪声通常添加在全连接层，考虑我们全连接层的前向计算公式：
假设两层的神经元个数分别为p个和q个，那么w是q*p的，x是p维的，y和b都是q维的。
此时我们在参数上增加噪声，文章中假设每一个参数b和w分别服从于均值为μ，方差为σ的正态分布，同时存在一定的随机噪声ε，我们可以假设噪声是服从标准正态分布N(0,1)的。那么前向计算公式变为：
这样，我们模型的变量从原来的p*q + q个，变为了2 * p * q + q个，你可能会问，变量不是3 * p * q + q个么？因为这里，我们的噪声ε在每一轮中，都是随机产生的常量，试想如果噪声ε也是变量的话，就跟原有的wx+b没有什么区别了。
接下来就是这个噪声如何产生的问题了。文中提到了两种方法：
Independent Gaussian noise:这也是我们最容易想到的方法，就是直接从标准正态分布中，随机产生p*q+q个常量。这也就是说，对于每一个全连接层来说，为每一个w和b都产生独立的噪声，这无疑对于模型的计算带来了不小的负担。
Factorised Gaussian noise:该方法有效地减少了噪声的个数，我们只需要p + q个噪声即可，w和b的噪声计算方式如下：
而上式中的f所代表的函数如下：
了解了如何给参数增加噪声，我们就可以把这种方法应用于DQN或者AC等方法中。
2、NoisyNet的TF实现
代码的地址为：https://github.com/princewen/tensorflow_practice/tree/master/RL/Basic-NoisyNet-Demo
这里实现的是使用DQN来玩Atrai游戏的Demo。关于DQN的整体实现思路，我们就不在细讲了，这里重点介绍一下eval-net的构建以及其中最重点的带噪声的全连接层的实现。
我们这里的网络结构是两层卷积层 + 三层全连接层，输入是当前的状态，即三帧的游戏画面，输出是上下左右共四个动作的预估Q值：
def build_layers(self, state, c_names, units_1, units_2, w_i, b_i, reg=None):
with tf.variable_scope('conv1'):
conv1 = conv(state, [5, 5, 3, 6], [6], [1, 2, 2, 1], w_i, b_i)
with tf.variable_scope('conv2'):
conv2 = conv(conv1, [3, 3, 6, 12], [12], [1, 2, 2, 1], w_i, b_i)
with tf.variable_scope('flatten'):
flatten = tf.contrib.layers.flatten(conv2)
# 两种reshape写法
# flatten = tf.reshape(relu5, [-1, np.prod(relu5.get_shape().as_list()[1:])])
# flatten = tf.reshape(relu5, [-1, np.prod(relu5.shape.as_list()[1:])])
# print flatten.get_shape()
with tf.variable_scope('dense1'):
dense1 = noisy_dense(flatten, units_1, [units_1], c_names, w_i, b_i, noisy_distribution=self.config.noisy_distribution)
with tf.variable_scope('dense2'):
dense2 = noisy_dense(dense1, units_2, [units_2], c_names, w_i, b_i, noisy_distribution=self.config.noisy_distribution)
with tf.variable_scope('dense3'):
dense3 = noisy_dense(dense2, self.action_dim, [self.action_dim], c_names, w_i, b_i, noisy_distribution=self.config.noisy_distribution)
return dense3接下来，我们重点介绍一下之中noisy_dense的实现。首先，我们得到每个w的均值和方差的估计：
weights = tf.get_variable('weights', shape=[flatten_shape, units], initializer=w_i)
w_sigma = tf.get_variable('w_sigma', [flatten_shape, units], initializer=w_i, collections=c_names)如果噪声采用Independent Gaussian noise的方式，我们接下来需要得到p*q个的随机噪声，并得到最终的w：
if noisy_distribution == 'independent':
weights += tf.multiply(tf.random_normal(shape=w_sigma.shape), w_sigma)如果噪声采用Factorised Gaussian noise的方式，我们需要得到p + q个噪声，并对这些噪声进行变换，最终得到w：
elif noisy_distribution == 'factorised':
noise_1 = f(tf.random_normal(tf.TensorShape([flatten_shape, 1]), dtype=tf.float32)) # 注意是列向量形式，方便矩阵乘法
noise_2 = f(tf.random_normal(tf.TensorShape([1, units]), dtype=tf.float32))
weights += tf.multiply(noise_1 * noise_2, w_sigma)其中变换的代码如下：
def f(e_list):
return tf.multiply(tf.sign(e_list), tf.pow(tf.abs(e_list), 0.5))接下来，进行全连接的操作：
dense = tf.matmul(inputs, weights)最后，如果有偏置项的话，我们同样通过不同的方式为偏置项增加噪声：
if bias_shape is not None:
assert bias_shape[0] == units
biases = tf.get_variable('biases', shape=bias_shape, initializer=b_i)
b_noise = tf.get_variable('b_noise', [1, units], initializer=b_i, collections=c_names)
if noisy_distribution == 'independent':
biases += tf.multiply(tf.random_normal(shape=b_noise.shape), b_noise)
elif noisy_distribution == 'factorised':
biases += tf.multiply(noise_2, b_noise)最后，经过激活函数得到最后的输出：
return activation(dense) if activation is not None else dense完整noise_dense的函数如下：
def noisy_dense(inputs, units, bias_shape, c_names, w_i, b_i=None, activation=tf.nn.relu, noisy_distribution='factorised'):
def f(e_list):
return tf.multiply(tf.sign(e_list), tf.pow(tf.abs(e_list), 0.5))
if not isinstance(inputs, ops.Tensor):
inputs = ops.convert_to_tensor(inputs, dtype='float')
if len(inputs.shape) > 2:
inputs = tf.contrib.layers.flatten(inputs)
flatten_shape = inputs.shape[1]
weights = tf.get_variable('weights', shape=[flatten_shape, units], initializer=w_i)
w_sigma = tf.get_variable('w_sigma', [flatten_shape, units], initializer=w_i, collections=c_names)
if noisy_distribution == 'independent':
weights += tf.multiply(tf.random_normal(shape=w_sigma.shape), w_sigma)
elif noisy_distribution == 'factorised':
noise_1 = f(tf.random_normal(tf.TensorShape([flatten_shape, 1]), dtype=tf.float32)) # 注意是列向量形式，方便矩阵乘法
noise_2 = f(tf.random_normal(tf.TensorShape([1, units]), dtype=tf.float32))
weights += tf.multiply(noise_1 * noise_2, w_sigma)
dense = tf.matmul(inputs, weights)
if bias_shape is not None:
assert bias_shape[0] == units
biases = tf.get_variable('biases', shape=bias_shape, initializer=b_i)
b_noise = tf.get_variable('b_noise', [1, units], initializer=b_i, collections=c_names)
if noisy_distribution == 'independent':
biases += tf.multiply(tf.random_normal(shape=b_noise.shape), b_noise)
elif noisy_distribution == 'factorised':
biases += tf.multiply(noise_2, b_noise)
return activation(dense + biases) if activation is not None else dense + biases
return activation(dense) if activation is not None else dense说点题外话，这个方法我是通过《强化学习精要：核心算法与Tensorflow》这本书看到的，书中对该方法的描述好像与论文和github上代码中所描述的有所出入，书中好像是把变量的方差当作噪声了。如果大家看过这本书同时也看过原作，如果觉得书中写的没有问题而本文写的有错误的话，欢迎大家在下方留言指正！