首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >在进行预测时,LSTM中的开始和结束标记

在进行预测时,LSTM中的开始和结束标记
EN

Data Science用户
提问于 2022-02-20 05:07:50
回答 2查看 766关注 0票数 2

我看到了LSTM序列到序列生成模型的示例,这些模型对每个序列使用开始和结束标记。

我想了解在使用这个模型进行预测时,如果我想对任意序列进行预测--是否需要在其中包含开始和结束标记?

EN

回答 2

Data Science用户

发布于 2022-02-21 08:14:07

这取决于你使用LSTM做什么。

对于序列标记或序列分类,不需要特殊的标记。尽管,通知网络一个句子的开头和结尾可能有一点好处,特别是当最初的LSMT状态是固定和学习的时候。

对于自回归序列到序列模型,特殊的令牌是至关重要的。句子开始标记作为解码器开始解码的指令(它需要一个非常第一状态来预测下一个第一个令牌是什么)。句子结束标记是解码算法停止生成更多令牌的指令.

票数 1
EN

Data Science用户

发布于 2023-01-04 18:00:26

是的,如果它被训练为拥有开始和结束令牌,而不是包含它们,因为否则它将导致域转移,因为所讨论的网络是严格按照开始和结束令牌的序列进行培训的。

对于序列生成的情况,需要结束标记,以便预测能够“停止”,就像在,允许自己停止生成序列。通常,大多数模型在代码中都有部分,一旦LSTM输出“停止”令牌,就显式地停止自回归生成过程,因此它不是可选的。

票数 0
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/108336

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档