深度网络在计算机视觉、语言、翻译、玩游戏等等方面都取得了巨大的进步,在动物的注意力方面也开始逐步取得进展!
看图:
paper 《Top-down Neural Attention by Excitation Backprop》[1]。论文[1] 将过去的 top-down neural attention 成功“泛化”到 probabilistic 版本,并基于此提出并实现了一种叫 contrastive attention 的机制,使得学出来的 attention maps 更加 diverse 和 discriminative。
如上文所述,Top-down neural attention 并不是本文[1] 首创。但这个 idea 十分直观,即我们希望能让神经网络在学习过程中的注意力更加有选择性(selective),这种选择性的一种实现就是 top-down,或者说层次化(hierarchical)的——而这种实现也十分贴近我们真正的生物视觉机制。基于此想法被提出的 model 中,就包含了 Seletive Tuning attention model[2]。为了实现这种 top-down 机制,[2] 采用了一种 deterministic(相当于 binary)的 Winner-Take-All(WTA) 的方法,从而可以选择出与这个 top-down 信号最相关的神经元。