了解TensorBoard (权重)直方图
在TensorBoard中查看和理解标量值非常简单。然而，如何理解直方图还不清楚。
例如，它们是我的网络权重的直方图。
(多亏了sunside修复了一个bug )
解释这些的最好方法是什么？第一层权重看起来大部分是扁平的，这是什么意思？
我在这里添加了网络构建代码。
X = tf.placeholder(tf.float32, [None, input_size], name="input_x")
x_image = tf.reshape(X, [-1, 6, 10, 1])
tf.summary.image('input', x_image, 4)
# First layer of weights
with tf.name_scope("layer1"):
W1 = tf.get_variable("W1", shape=[input_size, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer1 = tf.matmul(X, W1)
layer1_act = tf.nn.tanh(layer1)
tf.summary.histogram("weights", W1)
tf.summary.histogram("layer", layer1)
tf.summary.histogram("activations", layer1_act)
# Second layer of weights
with tf.name_scope("layer2"):
W2 = tf.get_variable("W2", shape=[hidden_layer_neurons, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer2 = tf.matmul(layer1_act, W2)
layer2_act = tf.nn.tanh(layer2)
tf.summary.histogram("weights", W2)
tf.summary.histogram("layer", layer2)
tf.summary.histogram("activations", layer2_act)
# Third layer of weights
with tf.name_scope("layer3"):
W3 = tf.get_variable("W3", shape=[hidden_layer_neurons, hidden_layer_neurons],
initializer=tf.contrib.layers.xavier_initializer())
layer3 = tf.matmul(layer2_act, W3)
layer3_act = tf.nn.tanh(layer3)
tf.summary.histogram("weights", W3)
tf.summary.histogram("layer", layer3)
tf.summary.histogram("activations", layer3_act)
# Fourth layer of weights
with tf.name_scope("layer4"):
W4 = tf.get_variable("W4", shape=[hidden_layer_neurons, output_size],
initializer=tf.contrib.layers.xavier_initializer())
Qpred = tf.nn.softmax(tf.matmul(layer3_act, W4)) # Bug fixed: Qpred = tf.nn.softmax(tf.matmul(layer3, W4))
tf.summary.histogram("weights", W4)
tf.summary.histogram("Qpred", Qpred)
# We need to define the parts of the network needed for learning a policy
Y = tf.placeholder(tf.float32, [None, output_size], name="input_y")
advantages = tf.placeholder(tf.float32, name="reward_signal")
# Loss function
# Sum (Ai*logp(yi|xi))
log_lik = -Y * tf.log(Qpred)
loss = tf.reduce_mean(tf.reduce_sum(log_lik * advantages, axis=1))
tf.summary.scalar("Q", tf.reduce_mean(Qpred))
tf.summary.scalar("Y", tf.reduce_mean(Y))
tf.summary.scalar("log_likelihood", tf.reduce_mean(log_lik))
tf.summary.scalar("loss", loss)
# Learning
train = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(loss)回答 2
Stack Overflow用户
发布于 2017-02-19 01:21:19
看起来网络在第一层到第三层中没有学习到任何东西。最后一层确实发生了变化，所以这意味着要么是梯度有问题(如果你手动篡改它们)，要么是通过优化权重将学习限制在最后一层，或者最后一层真的“吃掉”了所有错误。也有可能是因为只有偏见是可以学习的。虽然网络似乎学到了一些东西，但它可能没有充分发挥其潜力。这里需要更多的上下文，但玩弄学习率(例如使用较小的学习率)可能值得一试。
通常，直方图显示一个值相对于其他值出现的次数。简单地说，如果可能的值在0..9的范围内，并且您在值0上看到数量10的峰值，这意味着10个输入采用值0；相反，如果直方图显示0..9的所有值的1的平台值，这意味着对于10个输入，每个可能的值0..9恰好出现一次。当您按所有直方图值的总和对所有直方图值进行归一化时，您还可以使用直方图来可视化概率分布；如果这样做，您将直观地获得某个值(在x轴上)出现的可能性(与其他输入相比)。
现在对于layer1/weights来说，平台期意味着：
- 大多数权重都在-0.15到0.15
- 的范围内。权重(基本上)具有这些值的可能性相等，即它们(几乎)是均匀分布的
。
换句话说，几乎相同数量的权重具有值-0.15、0.0、0.15以及介于两者之间的所有值。有些权重的值稍小或稍高。因此，简而言之，这看起来就像是使用具有零均值和值范围-0.15..0.15的均匀分布来初始化权重。或多或少。如果您确实使用了统一初始化，则这是网络尚未经过训练时的典型情况。
相比之下，layer1/activations形成钟形曲线(高斯)-like形状:这些值围绕一个特定值居中，在本例中为0，但它们也可能大于或小于该值(同样有可能大于或小于该值，因为它是对称的)。大多数值看起来都接近0的平均值，但值的范围确实是从-0.8到0.8。我假设layer1/activations作为批处理中所有层输出的分布。您可以看到，这些值确实会随着时间的推移而变化。
第四层直方图没有告诉我任何特定的东西。从形状上看，它只是显示了-0.1，0.05和0.25周围的一些权重值倾向于以更高的概率出现；原因可能是，那里的每个神经元的不同部分实际上提取了相同的信息，并且基本上是冗余的。这可能意味着您实际上可以使用较小的网络，或者您的网络具有学习更多不同功能的潜力，以防止过度拟合。不过，这些只是假设。
另外，正如下面的评论中所述，一定要添加偏差单位。如果将它们排除在外，就会强制将您的网络限制为可能无效的解决方案。
Stack Overflow用户
发布于 2021-01-19 16:05:59
在这里，我会通过举一个最小的例子来间接地解释这个情节。下面的代码在tensorboard中生成了一个简单的直方图。
from datetime import datetime
import tensorflow as tf
filename = datetime.now().strftime("%Y%m%d-%H%M%S")
fw = tf.summary.create_file_writer(f'logs/fit/{filename}')
with fw.as_default():
for i in range(10):
t = tf.random.uniform((2, 2), 1000)
tf.summary.histogram(
"train/hist",
t,
step=i
)
print(t)我们看到，生成一个最大范围为1000的2x2矩阵将产生0-1000之间的值。对于这个张量可能是什么样子，我在这里放了其中的一些。
tf.Tensor(
[[398.65747 939.9828 ]
[942.4269 59.790222]], shape=(2, 2), dtype=float32)
tf.Tensor(
[[869.5309 980.9699 ]
[149.97845 454.524 ]], shape=(2, 2), dtype=float32)
tf.Tensor(
[[967.5063 100.77594 ]
[ 47.620544 482.77008 ]], shape=(2, 2), dtype=float32)我们登录了tensorboard 10次。在绘图的右侧，会生成一个时间线来指示时间步长。直方图的深度表示哪些值是新的。较亮/正面的值较新，较暗/较远的值较旧。
值被收集到由这些三角形结构指示的桶中。X轴表示束所在的值范围。
https://stackoverflow.com/questions/42315202
复制相似问题
腾讯云开发者
