问tflite量化推理非常慢
EN

Stack Overflow用户

提问于 2019-10-12 07:58:22

回答 1查看 1.2K关注 0票数 8

我正在尝试将经过训练的模型从检查点文件转换为tflite。我正在使用tf.lite.LiteConverter。在合理的推理速度下，浮点数转换进行得很好。但是INT8转换的推理速度很慢。我试图通过输入一个非常小的网络来进行调试。我发现INT8模型的推理速度通常比浮点模型慢。

在TensorFlow tflite文件中，我发现了一些名为ReadVariableOp的张量，它在TensorFlow的官方mobilenet tflite模型中并不存在。

我想知道是什么导致了INT8推断的缓慢。

发布于 2020-11-27 14:36:11

您可能使用的是x86处理器，而不是带有arm指令的cpu。你可以在这里引用它https://github.com/tensorflow/tensorflow/issues/21698#issuecomment-414764709

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/58349690

复制

相似问题

问tflite量化推理非常慢EN