文章/答案/技术大牛

发布

社区首页 >问答首页 >如何使用pytorch缩小Bert模型(检查点/模型_state.bin)的大小

问如何使用pytorch缩小Bert模型(检查点/模型_state.bin)的大小
EN

Data Science用户

提问于 2022-06-30 16:14:40

回答 1查看 234关注 0票数 0

我使用torch.quantization.quantize_dynamic来缩小模型大小，但它降低了我的预测精度得分。

我正在使用该模型文件在瓶内，并做一些实时预测，因为我面临的问题，因为庞大的问题，同时预测。所以，谁能帮我减少伯特模型的尺寸，使用火把，并指导我做谁做实时预测。

发布于 2022-07-01 10:21:51

您是在重用现有的Bert模型，还是从零开始进行培训？

在所有情况下，您都可以对模型应用几种解决方案：

票数 1

页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://datascience.stackexchange.com/questions/112277

复制

相似问题

问如何使用pytorch缩小Bert模型(检查点/模型_state.bin)的大小EN