文章/答案/技术大牛

发布

社区首页 >问答首页 >如何使用pytorch缩小Bert模型(检查点/模型_state.bin)的大小

问如何使用pytorch缩小Bert模型(检查点/模型_state.bin)的大小
EN

Stack Overflow用户

提问于 2022-06-30 15:15:56

回答 1查看 184关注 0票数 -1

我使用torch.quantization.quantize_dynamic来缩小模型大小，但它降低了我的预测精度得分。

我正在使用该模型文件在瓶内，并做一些实时预测，因为我面临的问题，因为庞大的问题，同时预测。所以，谁能帮我减少伯特模型的尺寸，使用火把，并指导我做谁做实时预测。

发布于 2022-06-30 18:46:57

这里是torch.quantization.quantize_dynamic的文档，dtype设置为torch.qint8。

因此，如果您不希望您的准确性大幅度降低，请使用以下语法

torch.quantization.quantize_dynamic(model, qconfig_spec=None, dtype=torch.float16)

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/72818221

复制

相似问题

问如何使用pytorch缩小Bert模型(检查点/模型_state.bin)的大小EN