如何使用自定义数据集对BART进行预培训(而不是微调！)
如何使用自定义数据集对BART进行预培训(而不是微调！)
提问于 2022-08-02 08:40:26
我用的是拥抱式变压器4.19.0
我想使用我的自定义数据集对BART模型进行预处理。。
为了说明这一点，我问的不是微调BART到下游任务，而是关于“训练前BART”。
但是我在拥抱脸文档页面(博士/巴特)上找不到这个工作的方法或类。
使用变压器包对BART进行预训练是否不可能？
我必须从零开始逐层制作BART模型吗？
如果有人知道如何使用定制数据对BART模型进行预训练，请帮助我.
回答 1
Stack Overflow用户
回答已采纳
发布于 2022-08-04 14:58:40
您需要使用您选择的体系结构初始化一个随机模型。
from transformers import BartConfig, BartModel
configuration = BartConfig() # default Bart config
model = BartModel(configuration) # default randomly initialised BART然后，您需要培训上述模型，最简单的方式是使用培训师(文档)，您提供您的模型，培训集，评估集等。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/73204460
复制相关文章
相似问题
腾讯云开发者
