模型的输入:上下文,比如['you','goodbye']这样的单词,但是需要转化为one-hot编码表示。
本文中考虑上下文的两个单词,因此模型会有两个输入层。如果是考虑N个单词,则输入层有N个。...从输入层到中间层的变换使用相同的全连接层(权重都是$W_{in}$)
从中间层到输出层神经元的变换由另一个全连接层完成(权重是$W_{out}$)
中间层的神经元是各个输入层经全连接层变换后得到的值得平均...1, 2, 3, 4, 1, 5, 6])
id_to_word
{0: 'you', 1: 'say', 2: 'goodbye', 3: 'and', 4: 'i', 5: 'hello', 6:...2],
[1, 3],
[2, 4],
[3, 1],
[4, 5],
[1, 6]])
target # 目标值
array...两个输入侧的MatMul 和 一个输出侧 + Softmax_with_loss层
self.in_layer0 = MatMul(W_in)
self.in_layer1