大家好,又见面了,我是你们的朋友全栈君。
假设词汇量为 100 万个时的 CBOW 模型如下,输入层和输出层存在 100 万个神经元。
下面两个问题导致耗时严重。
问题一、输入层的 one-hot 表示和权重矩阵的乘积。one-hot 表示占用内存过多,计算 one-hot 表示与权重矩阵 的乘积,需要花费大量时间。
问题二、中间层和权重矩阵的乘积以及 Softmax 层的计算。需要大量的计算,花费大量时间。
解决问题一:
计算one-hot 表示矩阵和权重矩阵的乘积,其实就是将权重矩阵的某个特定的行取出来。如下图所示。
Embedding 层:一个从权重矩阵中抽取单词ID对应行(向量)的层。
使用 params 和 grads 作为成员变量,params中保存要学习的参数,grads中保存梯度。并在成员变量 idx 中以数组的形式保存需要提取的行的索引(单词ID)。
正向传播:从权重矩阵W中提取特定的行,并将特定行的神经元原样传给下一层。
反向传播:上一层(输出侧的层)传过来的梯度将原样传给下一层(输入侧的层)。上一层传来的梯度会被应用到权重梯度dW的特定行(idx)。
反向传播里面,将梯度累加到对应索引上,用于处理idx 中出现了重复的索引的情况。dW[…] = 0的目的是保持dW的形状不变,将它的元素设为0。
将原来CBOW模型中输入侧的 MatMul 层换成 Embedding 层,减少内存使用量,避免不必要的矩阵计算。
class Embedding:
def __init__(self, W):
self.params = [W]
self.grads = [np.zeros_like(W)]
self.idx = None
def forward(self, idx):
W, = self.params
self.idx = idx
out = W[idx]
return out
def backward(self, dout):
dW, = self.grads
dW[...] = 0
if GPU:
np.scatter_add(dW, self.idx, dout)
else:
np.add.at(dW, self.idx, dout)
return None
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/196477.html原文链接:https://javaforall.cn