文章/答案/技术大牛

发布

社区首页 >问答首页 >有没有GPT-2实现可以让我微调和提示文本补全？

问有没有GPT-2实现可以让我微调和提示文本补全？
EN

Stack Overflow用户

提问于 2020-01-28 16:13:29

回答 1查看 1.2K关注 0票数 2

我希望对一些文本数据上的GPT-2实现进行微调。然后，我想使用这个模型来完成一个文本提示。使用Max Woolf的gpt-2-simple实现，我可以很容易地完成第一部分。OpenAI的Neil Shepherd's fork允许在新数据上训练GPT-2并完成文本。

然而，我的语料库太小了，不能训练，也不能得到胡言乱语的回复。有没有办法把这两个函数结合起来呢？理想情况下，我希望能够通过python接口(而不是CLI)来完成这项工作，因为我希望使用pandas进行数据清理和其他操作。谢谢。

回答已采纳

发布于 2020-01-28 17:23:07

Huggingface's Transformers包有一个针对PyTorch和TensorFlow的GPT-2实现(包括预先训练的模型)。您可以在Python中轻松地使用它们。

然而，GPT-2的微调需要大量内存，我不确定您是否能够在此基础上进行完整的反向传播。在这种情况下，您只需微调几个最高层。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/59944537

复制

相似问题

问有没有GPT-2实现可以让我微调和提示文本补全？EN