问有没有一种标准的方法来优化模型，使其在不同的移动设备上运行良好？

EN

我将特别讨论Android精简版，它是一个在TensorFlow和iOS上运行TensorFlow操作的平台。在他们的website上提到了几种优化技术，但我将讨论对我来说重要的那些。

为平台构建相关模型：

模型优化的第一步是从头开始构建，这意味着TensorFlow。我们需要创建一个可以导出到内存受限设备的模型。

我们肯定需要为不同的机器训练不同的模型。为在高端TPU上工作而构建的模型永远不会在移动处理器上高效运行。

• 创建具有最少层和运算符的模型。
• 执行此操作时不会影响模型的准确性。
• 为此，您将需要ML方面的专业知识，以及哪些运算符是预处理数据的最佳方案。
• 此外，输入数据的额外预处理在很大程度上降低了模型的复杂性。

模型量化：

我们将高精度的浮点数或小数转换为低精度的浮点数。它对模型的性能影响很小，但会大大减小模型的大小，从而占用更少的内存。

训练后量化是一种通用技术，可以减少模型大小，同时提供高达3倍的延迟，同时几乎不会降低模型精度。训练后量化将权重从浮点量化到8位精度-来自TF docs。

您可以查看TensorFlow精简版TFLiteConverter示例：

import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE]
tflite_quant_model = converter.convert()

此外，您应该尝试使用post_training_quantize=标志，它可以显著减小模型大小。

希望能有所帮助。