Keras (Tensorflow后端)-将MLP中的所有梯度平平为1级张量(即一维数组)。
Keras (Tensorflow后端)-将MLP中的所有梯度平平为1级张量(即一维数组)。
提问于 2017-09-13 12:07:18
假设以下Keras模型：
model = Sequential()
model.add(Dense(512, activation='sigmoid', input_shape=(784,)))
model.add(Dense(10, activation='softmax'))显然，我们可以通过以下方法来计算梯度：
grads = K.gradients(loss, params)它只是打电话：
tf.gradients(loss, variables, colocate_gradients_with_ops=True)这将返回，一个张量的列表，包含：
- 包含512x784个元素的张量(隐连接的输入梯度)
- 隐层中512个单元偏差梯度的张量
- 具有10x512元素的张量(隐到输出连接的梯度)
- 具有10个输出单元偏差梯度的张量
我想问一问，是否有一种简单的方法，用(512x784)+512+(10x512)+10元素“平平”一级张量(即一维数组)的所有梯度，而不对层和相应的偏差进行循环。
谢谢
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-09-13 13:19:10
是的，使用后端函数。
#flatten the tensors
flattenedList = [K.flatten(x) for x in grads]
#concatenate them
concatenated = K.concatenate(flattenedList)页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/46197153
复制相关文章
相似问题
腾讯云开发者
