问SageMaker Neo编译-无法为FP16和INT8精度进行Neo编译
EN

Stack Overflow用户

提问于 2022-10-30 17:27:49

回答 1查看 20关注 0票数 1

我正试图在设备上编译一个用于边缘部署的Pytorch YoloV5大型模型。我可以使用FP32精度的默认设置来完成它，但是对于FP16或INT8精度，我不能这样做。我尝试在CompilerOptions中传递它，但是Neo编译的输出仍然是FP32。

如何编译FP16和INT8精度的模型？

回答已采纳

发布于 2022-11-09 08:49:33

“不幸的是，Neo不支持Jetson的量化，这意味着您只能编译FP32模型，编译后它们将是FP32。

我知道这不是你想要的，但是FYI，Neo只支持针对int8的TFLite模型优化，而不是针对GPU。在这里查看一些受支持的模型：us/sagemaker/latest/dg/neo-supported-edge-tested-models.html“

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/74255238

复制

相似问题

问SageMaker Neo编译-无法为FP16和INT8精度进行Neo编译EN