长句子对深度学习模型不好吗？
长句子对深度学习模型不好吗？
提问于 2019-01-18 18:11:55
有兴趣了解长句子是否对tensor2tensor模型训练有好处。为什么或者为什么不呢？
回答 1
Stack Overflow用户
发布于 2019-01-18 19:49:55
理想情况下，训练数据应该具有与目标测试数据相同的句子长度分布。例如，在机器翻译中，如果打算由最终模型翻译长句，同样也应该使用长句进行训练。Transformer模型似乎没有推广到比我们用于训练的更长的句子，但是在训练中限制最大句子长度允许使用更大的批量，这是有帮助的(Popel and Bojar, 2018)。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/54251771
复制相关文章
相似问题
腾讯云开发者
