专栏首页恩蓝脚本keras打印loss对权重的导数方式

keras打印loss对权重的导数方式

Notes

怀疑模型梯度爆炸,想打印模型 loss 对各权重的导数看看。如果如果fit来训练的话,可以用keras.callbacks.TensorBoard实现。

但此次使用train_on_batch来训练的,用K.gradients和K.function实现。

Codes

以一份 VAE 代码为例

# -*- coding: utf8 -*-
import keras
from keras.models import Model
from keras.layers import Input, Lambda, Conv2D, MaxPooling2D, Flatten, Dense, Reshape
from keras.losses import binary_crossentropy
from keras.datasets import mnist, fashion_mnist
import keras.backend as K
from scipy.stats import norm
import numpy as np
import matplotlib.pyplot as plt
BATCH = 128
N_CLASS = 10
EPOCH = 5
IN_DIM = 28 * 28
H_DIM = 128
Z_DIM = 2
(x_train, y_train), (x_test, y_test) = fashion_mnist.load_data()
x_train = x_train.reshape(len(x_train), -1).astype('float32') / 255.
x_test = x_test.reshape(len(x_test), -1).astype('float32') / 255.
def sampleing(args):
"""reparameterize"""
mu, logvar = args
eps = K.random_normal([K.shape(mu)[0], Z_DIM], mean=0.0, stddev=1.0)
return mu + eps * K.exp(logvar / 2.)
# encode
x_in = Input([IN_DIM])
h = Dense(H_DIM, activation='relu')(x_in)
z_mu = Dense(Z_DIM)(h) # mean,不用激活
z_logvar = Dense(Z_DIM)(h) # log variance,不用激活
z = Lambda(sampleing, output_shape=[Z_DIM])([z_mu, z_logvar]) # 只能有一个参数
encoder = Model(x_in, [z_mu, z_logvar, z], name='encoder')
# decode
z_in = Input([Z_DIM])
h_hat = Dense(H_DIM, activation='relu')(z_in)
x_hat = Dense(IN_DIM, activation='sigmoid')(h_hat)
decoder = Model(z_in, x_hat, name='decoder')
# VAE
x_in = Input([IN_DIM])
x = x_in
z_mu, z_logvar, z = encoder(x)
x = decoder(z)
out = x
vae = Model(x_in, [out, out], name='vae')
# loss_kl = 0.5 * K.sum(K.square(z_mu) + K.exp(z_logvar) - 1. - z_logvar, axis=1)
# loss_recon = binary_crossentropy(K.reshape(vae_in, [-1, IN_DIM]), vae_out) * IN_DIM
# loss_vae = K.mean(loss_kl + loss_recon)
def loss_kl(y_true, y_pred):
return 0.5 * K.sum(K.square(z_mu) + K.exp(z_logvar) - 1. - z_logvar, axis=1)
# vae.add_loss(loss_vae)
vae.compile(optimizer='rmsprop',
loss=[loss_kl, 'binary_crossentropy'],
loss_weights=[1, IN_DIM])
vae.summary()
# 获取模型权重 variable
w = vae.trainable_weights
print(w)
# 打印 KL 对权重的导数
# KL 要是 Tensor,不能是上面的函数 `loss_kl`
grad = K.gradients(0.5 * K.sum(K.square(z_mu) + K.exp(z_logvar) - 1. - z_logvar, axis=1),
w)
print(grad) # 有些是 None 的
grad = grad[grad is not None] # 去掉 None,不然报错
# 打印梯度的函数
# K.function 的输入和输出必要是 list!就算只有一个
show_grad = K.function([vae.input], [grad])
# vae.fit(x_train, # y_train, # 不能传 y_train
#     batch_size=BATCH,
#     epochs=EPOCH,
#     verbose=1,
#     validation_data=(x_test, None))
''' 以 train_on_batch 方式训练 '''
for epoch in range(EPOCH):
for b in range(x_train.shape[0] // BATCH):
idx = np.random.choice(x_train.shape[0], BATCH)
x = x_train[idx]
l = vae.train_on_batch([x], [x, x])
# 计算梯度
gd = show_grad([x])
# 打印梯度
print(gd)
# show manifold
PIXEL = 28
N_PICT = 30
grid_x = norm.ppf(np.linspace(0.05, 0.95, N_PICT))
grid_y = grid_x
figure = np.zeros([N_PICT * PIXEL, N_PICT * PIXEL])
for i, xi in enumerate(grid_x):
for j, yj in enumerate(grid_y):
noise = np.array([[xi, yj]]) # 必须秩为 2,两层中括号
x_gen = decoder.predict(noise)
# print('x_gen shape:', x_gen.shape)
x_gen = x_gen[0].reshape([PIXEL, PIXEL])
figure[i * PIXEL: (i+1) * PIXEL,
j * PIXEL: (j+1) * PIXEL] = x_gen
fig = plt.figure(figsize=(10, 10))
plt.imshow(figure, cmap='Greys_r')
fig.savefig('./variational_autoencoder.png')
plt.show()

补充知识:keras 自定义损失 自动求导时出现None

问题记录,keras 自定义损失 自动求导时出现None,后来想到是因为传入的变量没有使用,所以keras无法求出偏导,修改后问题解决。就是不愿使用的变量×0,求导后还是0就可以了。

def my_complex_loss_graph(y_label, emb_uid, lstm_out,y_true_1,y_true_2,y_true_3,out_1,out_2,out_3):
mse_out_1 = mean_squared_error(y_true_1, out_1)
mse_out_2 = mean_squared_error(y_true_2, out_2)
mse_out_3 = mean_squared_error(y_true_3, out_3)
# emb_uid= K.reshape(emb_uid, [-1, 32])
cosine_sim = tf.reduce_sum(0.5*tf.square(emb_uid-lstm_out))
cost=0*cosine_sim+K.sum([0.5*mse_out_1 , 0.25*mse_out_2,0.25*mse_out_3],axis=1,keepdims=True)
# print(mse_out_1)
final_loss = cost
return K.mean(final_loss)

以上这篇keras打印loss对权重的导数方式就是小编分享给大家的全部内容了,希望能给大家一个参考。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 记录模型训练时loss值的变化情况

    一般我们在训练神经网络模型的时候,都是每隔多少步,输出打印一下loss或者每一步打印一下loss,今天发现了另一种记录loss变化的方法,就是用

    砸漏
  • python对execl 处理操作代码

    到此这篇关于python对execl 处理操作代码的文章就介绍到这了,更多相关python对execl 处理内容请搜索ZaLou.Cn以前的文章或继续浏览下面的...

    砸漏
  • sklearn+python:线性回归案例

    载入的数据是随sklearn一起发布的,来自boston 1993年之前收集的506个房屋的数据和价格。load_boston()用于载入数据。

    砸漏
  • 【AI快报】谷歌I/O大会主打AI | 软银机器人即将进军美国

    SoftBank 软银机器人即将进军美国 公开新的应用开发工具 ? 日本软银宣布,在今年晚些时候,其人形情感机器人Pepper将进入北美市场。在谷歌I/O大会上...

    新智元
  • 再谈angularJS数据绑定机制及背后原理—angularJS常见问题总结

    ng-bind 单向数据绑定($scope -> view),用于数据显示,简写形式是 {{}}。

    周陆军
  • AngularJS入门心得1——directive和controller如何通信

      粗略地翻了一遍《JavaScript DOM编程艺术》,就以为可以接过AngularJS的一招半式,一个星期过去了,我发现自己还是Too Young,Too...

    JackieZheng
  • Headless Testing入坑指南

    用户1687375
  • 「云+未来」上海峰会,报名开启

    本次峰会以“连接·智能·未来”为主题,邀请政企精英、行业领军企业、业界权威专家齐聚一堂,共探云计算、人工智能、大数据等前沿技术的应用场景,助力智慧政府、企业升级...

    云加社区
  • angularjs 控制器、作用域、广播详解

    一、控制器 首先列出几种我们平常使用控制器时的几种误区: ? 我们知道angualrJs中一个控制器时可以对应不同的视图模板的,但这种实现方式存在的问题是: 如...

    柴小智
  • 第九节 - 部门管理模块(模糊查询)

    剽悍一小兔

扫码关注云+社区

领取腾讯云代金券