问对新数据进行GPT-2/3微调

EN

目前，GPT-3无法像GPT-2或GPT-Neo /Neo那样被细化。这是因为模型保存在他们的服务器上，并且请求必须通过API进行。一位黑客新闻帖子表示，GPT-3正在计划中或正在建设中。

话虽如此，OpenAI的GPT-3提供了应答API，您可以提供上下文文档(多达200个文件/1GB)。然后，API可以用作与其进行讨论的一种方式。

编辑: Open最近推出了微调测试版。因此，https://beta.openai.com/docs/guides/fine-tuning将是对这个问题最好的回答，通过对该链接的描述来完成。

你绝对可以重新训练GPT-2。你只是为了语言生成的目的而训练它，还是你有一个特定的下游任务，你想要适应GPT-2？

这两项任务都是可能的，而且不太困难。如果您想要训练语言生成模型，即让它生成特定主题的文本，您可以按照训练前阶段的训练来训练模型。这意味着使用交叉熵损失函数对其进行下一个令牌预测任务的训练。只要您有一个数据集，并且具有良好的计算能力，这就不难实现。

当你说，“讨论”这本书的内容时，在我看来，你是在寻找对话模式/聊天机器人。聊天机器人的训练方式不同，如果您确实在寻找对话模型，您可以查看DialoGPT和其他模型。他们可以被训练成为面向任务的对话代理。