问可分式神经计算机的外部内存是否有限？

EN

如果对人类7块信息的引用是对作为人类工作记忆的“魔法七号”纸的引用，那么：

考虑DNC的高级别操作。输入输入，并由LSTM处理以生成与内存交互的“接口向量”和写入、擦除和读取操作。然后执行操作，最后一层根据检索到的信息和输入产生输出。

与人类“工作记忆”的类比在哪里？

1)。如果您认为工作内存是在读取时检索的，那么就有一个关于内存读取数的超参数。这通常适用于写入和擦除，以及这些都是决定接口向量大小的超参数。在论文中，为了控制实验，他们在所有情况下都使用了1的写入大小。注意，在单个操作中读/写的“大小”是一个单独的参数，这取决于问题是如何编码的(参见本文的“方法”一节)。

2)。如果将工作内存视为外部内存，则这是另一个超参数。我认为将外部内存视为短期内存是一个概念上的错误，因为添加这个和所有的门限是为了长期存储信息，然后在需要时进行回忆。

3)。DNC操作的一部分是在读取阶段查询链接矩阵(存储写入长期内存的内容和时间)。这可以被视为与人类的工作记忆有关，因为许多行为经济学研究表明，我们的回忆和我们如何处理它是受我们刚才看到的影响。这是本文中计算的唯一部分，计算值为O(N^2) w.r.t，以内存大小为单位(尽管它们与O(NlogN)方法近似)。对最近访问的信息检索/偏倚的这一部分可以说是有限度的，因为对于大内存，它不会随着网络的其他部分而扩展，但这仍然不是固定的。

4)。工作记忆类比IMO的最佳选择可能是控制器LSTM的隐藏状态，因为该算法的这一部分负责存储检索所需的内容，并且它本身用于存储随时间变化的状态。在这个类比中，这是短期内存的原因只是因为外部内存是一个显式的外部内存，而这是唯一保持状态的地方。

总之，不，没有常数，就像每一个可以想象到的“工作记忆”的类比一样，整个体系结构都是由参数控制的。关于如何为不同的实验设置参数的更多细节，值得查看代码和纸。

如果这有意义的话请告诉我。