Softmax梯度推导

Softmax梯度推导

0.说在前面

今天来学习Softmax梯度推导及实现！

1.损失函数

矩阵乘法

矩阵相乘，矩阵A的一行乘以矩阵B的每一列，不用循环B矩阵乘法公式：

对于下面这个，则不用循环W矩阵，否则通常做法还得循环W矩阵的每一列！

score = np.dot(X[i],W)

损失函数

具体的描述看代码，有一点需要注意，损失函数Loss也就是cross-entropy！

在实际计算的时候，需要给分子分母同时乘以常熟C，一般C取-maxfj，目的是防止数值爆炸，所产生的导致计算机内存不足，计算不稳定！

def softmax_loss_naive(W, X, y, reg):
  loss = 0.0
  dW = np.zeros_like(W)
  num_train = X.shape[0]
  num_class = W.shape[1]
  for i in range(num_train):
      # 得到S矩阵每一行
      score = np.dot(X[i],W)
      # 防止数值爆炸，保持稳定性
      score-=max(score)
      # 分子 去指数
      score = np.exp(score)
      # 分母，S矩阵每一行求和
      softmax_sum = np.sum(score)
      # broadcast：向量除以标量
      score /= softmax_sum
      # 得到交叉熵，也就是softmax的loss
      loss -= np.log(score[y[i]])
   # 平均         
   loss/=num_train
   # 加上正则项
   loss+=reg*np.sum(W*W) 
  return loss, dW

2.梯度推导

shape查看

X为(D,N)，W为(N,C)

梯度求导推论

这里Xi与Wj转置均是行向量!

记作(2)式：

记作(3)式：

pm = [0,…1…,0]是一个是一个one hot vector

梯度求导：

利用链式求导法则：记作(4)式：

观察shape：

对Wj求导后shape是(1，D)，后面三个分别是(1,C)，(C,C)，(C,D)，最终是(1,D)，记作(5)式：

记作(6)式：

上面求导分为两种情况，记作(7)式：

Si表示S矩阵中每一行数据，那Sj对Wj求导如下：

现在取X矩阵第一行[X11,X12,…..X1n]

取W矩阵第一列[W11,W21….Wn1]

X与W矩阵相乘得S矩阵，上面X第一行与W第一列相乘得到S矩阵第一个元素，记作S01，同理我们可以得到S矩阵每一行得所有元素，分别为Si1,Si2,…..,SiC。

Wj代表W矩阵得列向量，每一列为Wj，第一列W1，后面依此类推！

那么我们现在来分析一下Si对Wj求导，这里推导：

对于最上面wj代表行向量，如下面所示是W矩阵(D,C)表示：记作(8)式：

回顾一下(1)式，那么W转置得矩阵(C,D)则为：记作(9)式：

而X矩阵(N,D)则是：记作(10)式：

而S矩阵(N,C)表示为(记作)：记作(11)式：

也就是，记作(12)式：：

S1表示第一行，Si表示第i行

现在回到求导，那么当Si对Wj进行求导得时候，我们从列向量表示得S矩阵(12)与原始矩阵S(11)相比较，我们知道，Si对wj求导为xi，其余全为0，得到下面结果，记作(13)式(C,D)：

带入链式求导法则，得到：

梯度实现

在上述交叉熵下面添加如下代码即可！

# 计算梯度
for j in range(num_class):
  if j!=y[i]:
    dw[:,j]+=score[j]*X[i]
  else:
    dw[:,j]+=(score[j]-1)*X[i]