深度神经网络惊人的'注意力'能力-附论文解读

深度网络在计算机视觉、语言、翻译、玩游戏等等方面都取得了巨大的进步，在动物的注意力方面也开始逐步取得进展！

看图：

paper 《Top-down Neural Attention by Excitation Backprop》[1]。论文[1] 将过去的 top-down neural attention 成功“泛化”到 probabilistic 版本，并基于此提出并实现了一种叫 contrastive attention 的机制，使得学出来的 attention maps 更加 diverse 和 discriminative。

如上文所述，Top-down neural attention 并不是本文[1] 首创。但这个 idea 十分直观，即我们希望能让神经网络在学习过程中的注意力更加有选择性（selective），这种选择性的一种实现就是 top-down，或者说层次化（hierarchical）的——而这种实现也十分贴近我们真正的生物视觉机制。基于此想法被提出的 model 中，就包含了 Seletive Tuning attention model[2]。为了实现这种 top-down 机制，[2] 采用了一种 deterministic（相当于 binary）的 Winner-Take-All（WTA） 的方法，从而可以选择出与这个 top-down 信号最相关的神经元。