Gumbel softmax在可微NAS的作用是什么？

一、简单回顾DARTS

在介绍gumbel softmax之前，我们需要首先介绍一下什么是可微NAS。

可微NAS(Differentiable Neural Architecture Search, DNAS)是指以可微的方式搜索网络结构，比较经典的算法是DARTS

二、DARTS缺点

可是DARTS算法在更新权重的过程中是并不是根据概率选择操作的，而是向上面的公式一样把所有操作乘上对应的权重得到mixed的结果，在权重更新结束后会简单地只保留每组节点之间权重最大的那个操作。这样一来有两个问题： 1）每次更新都是对所有操作进行更新，这导致内存消耗更大； 2）最后只是简单地选择权重最大的操作，那么[0.2,0.3,0.5]和[0.1,0.2,0.7]并没有本质的区别了，而且这样一来可能第一个和第二个操作根本就没有机会得到更新，但是从概率上来说这两个权重分布差别是巨大的。

所以一个很自然的想法就是我们希望以0.1的概率选择第一个操作，0.2的概率选择第二个操作，0.7的概率选择第三个操作。实现起来其实也挺简单的，直接用np.random.choice就可以按照一定概率随机选取操作。可是这样一来又产生了一个新的问题，即这种随机采样的方式没法计算梯度。

为什么没法计算梯度呢？我们考虑如下简单情况写一下表达式：

三、Gumbel softmax登场