问注意力机制真的是注意力，还是只是再一次回顾记忆？

EN

注意力，正如在Attention Is All You Need，IMHO中所介绍的，与我们的大脑用作注意力机制的机制非常相似。

我们的大脑中有一个叫做LGN的东西，负责为手头的任务过滤掉不必要的信息。例如，如果我开始寻找我的钥匙，我的大脑将会更少地关注银色或金色以外的物体(希望如此)。现在，我还没有意识到人类大脑的高级注意力机制。然而，有一件事是明确的，那就是信息在注意力之前通过每一层，并以神经活动的形式呈现。

当您提供世界当前状态的人工模型表示时，信息将被表示为张量，类似地，注意力允许您查看做出最佳决策所需的内容(类似于查找关键字)。

例如，在机器翻译任务中，直观地说，这相当于输出一个已翻译的单词，然后返回文本的所有内部存储器，以确定下一个要生成的单词。这似乎是一种浪费，根本不是人类正在做的事情。事实上，它更类似于内存访问，而不是注意力，在我看来，这有点用词不当(更多信息在下面)。尽管如此，这并没有阻止注意力机制变得相当流行，并在许多任务中表现良好。