我看到了LSTM序列到序列生成模型的示例,这些模型对每个序列使用开始和结束标记。
我想了解在使用这个模型进行预测时,如果我想对任意序列进行预测--是否需要在其中包含开始和结束标记?
发布于 2022-02-21 08:14:07
这取决于你使用LSTM做什么。
对于序列标记或序列分类,不需要特殊的标记。尽管,通知网络一个句子的开头和结尾可能有一点好处,特别是当最初的LSMT状态是固定和学习的时候。
对于自回归序列到序列模型,特殊的令牌是至关重要的。句子开始标记作为解码器开始解码的指令(它需要一个非常第一状态来预测下一个第一个令牌是什么)。句子结束标记是解码算法停止生成更多令牌的指令.
发布于 2023-01-04 18:00:26
是的,如果它被训练为拥有开始和结束令牌,而不是包含它们,因为否则它将导致域转移,因为所讨论的网络是严格按照开始和结束令牌的序列进行培训的。
对于序列生成的情况,需要结束标记,以便预测能够“停止”,就像在,允许自己停止生成序列。通常,大多数模型在代码中都有部分,一旦LSTM输出“停止”令牌,就显式地停止自回归生成过程,因此它不是可选的。
https://datascience.stackexchange.com/questions/108336
复制相似问题