1回答
我想使用量化感知训练将我的模型量化为int8。不幸的是，我不能简单地量化整个模型，因为我的第一层是批归一化(在InputLayer之后)，所以我需要为该层使用一个自定义的quantizationConfig。我的问题是，我的准确率下降了大约4%，而使用后量化只下降了2%。下面的代码有什么问题吗？如果没有，你知道为什么QAT在这种情况下会变得更糟吗？
浏览 66提问于2021-11-02得票数 0
我的工作是量化在传输学习中使用MobilenetV2的个人数据集。我尝试过两种方法：
(一)仅训练后量化:它工作良好，并正在产生0.04s的平均时间来推断在224,224维60图像。(二.)量化感知训练+训练后量化:与单纯的训练后量化相比，它产生了更高的精度，但对于相同的60幅图像却产生了0.55s的更高的推理时间。classes = interpreter.ge
浏览 5提问于2020-09-09得票数 1
我正在训练一个Keras模型，我想在一个量化的8位环境(微控制器)中使用TFLite来部署它。为了提高量化性能，我进行量化感知训练。然后，我使用我的验证集作为一个有代表性的数据集创建量化的TFLite模型。性能使用验证集进行评估，并在此图像中加以说明：
如果不是简单地从经过QA训练的模型(图中红色)生成TFLite模型(图中的青色)，而是将经过QA训练的模型中的权重复制到原始模型中，然后生成TFLite我理解TFLite模型与QA培
浏览 9提问于2021-03-02得票数 0
回答已采纳
1回答
如何在TensorFlow的量化感知训练后得到量化权值或量化感知权值。我想在应用程序的NumPy上使用整数量化的权重。到目前为止，我的用法如下，它给出了float32的值。
浏览 17提问于2020-10-23得票数 0
我们正在考虑将量化感知训练用于一个研究项目，以确定训练期间量化对收敛速度和运行时间的影响。尽管我们还不完全相信这是正确的工具。请您澄清以下几点: 1)如果一个层在量化感知训练期间被量化，这意味着输入和权重被量化，包括激活函数在内的所有操作都被量化，然后在返回之前，输出被反量化到与下一层兼容的精度。这种理解正确吗?3)原则上，量化感知训练<
浏览 22提问于2020-06-19得票数 0
回答已采纳
2回答
我想将我的代码迁移到TensorFlow 2上，但我在中看不到量化模型。
是否有可能在TF2中为此目的微调模型，并使用量化感知训练或训练后量化之类的技术？我没有看到任何相关的教程或问题。我还看到了一些关于TF2中TFLite转换器量化问题的报道，所以我甚至不确定在TF2中是否可以做到这一点。
浏览 0提问于2020-07-23得票数 3
2回答
因此，我将其转换为tensorflow-lite，并应用混合训练后量化(据我所知，这是唯一的方法，因为我无法访问训练数据)。
浏览 3提问于2019-08-11得票数 2
我正在尝试int8量化我的模型在TensorFlow Lite上。转换本身使用tensorflow 1.15.3，但转换模型在麒麟990上运行得非常慢。我的模型是int8(tf.lite.OpsSet.TFLITE_BUILTINS_INT8)量化，而mobilenet_v1_1.0_224_quant.tflite则是uint8量化。Conv2D的“过滤器”属性在mobilenet_v1_1.0_224_quant.tflite中有一个“量化”属性，而在我的转换模型中，Conv2D的“过滤器”属性没有“量化</e
浏览 9提问于2020-09-02得票数 2
我一直在学习如何在TensorFlow 2.x上使用TFLiteConverter进行量化，但是我正在TensorFlow 1.13上实现一个项目，我想知道如何在这个版本上做同样的事情。那么整数量化和量化感知训练又如何实现呢？
浏览 2提问于2020-04-02得票数 0
回答已采纳
1回答
是否有可能重新量化已经量化的模型？
我有一些模型，我已经训练与量化感知训练(QAT)与全整数量化。但是，我没有为GPU代表团提供这些模式。是否有一种方法，使我已经拥有的模型与Float16量化，以便能够运行他们与GPU代表。
浏览 2提问于2020-08-20得票数 0
2回答
没有使用量化模型来改善喷炬的性能
、、、、
我已经训练了一个带浮点数据类型的移相器模型。我希望通过将该模型转换为量化模型来改进我的推理时间。我使用torch.quantization.convert api将模型的权重转换为uint8数据类型。(save_name+'.mat', {'output': arr}) print(f'Elapsed time = {t1-t0}')
对于模型网和量化模型
浏览 4提问于2020-06-02得票数 3
我已经搜索了一段时间，但似乎Keras只有经过训练后才具有量化特性。我希望在我的Keras序列模型中添加Tensorflow伪量化。根据Tensorflow的doc，我需要这两个函数来做假量化: tf.contrib.quantize.create_training_graph()和tf.contrib.quantize.create_eval_graph
浏览 2提问于2018-09-17得票数 2
回答已采纳
numClasses, activation="softmax")(modelSensor)
model = Model(inputs=inputSensor, outputs=modelSensor) 在训练模型之后0.0,1.0,0.0结果[0.00087439 0.996424 0.00270158] 测试左侧输入1.0,0.0,0.0结果[0.9948014 0.00256803 0.00263061] 然后我量化模型
浏览 17提问于2019-08-31得票数 1
1回答
我正在尝试将keras模型转换为tflite量化模型，这样我就可以在coral TPU上运行我的模型，但我的keras模型和tflite模型的输出明显不同。红点是量化的tflite模型输出，蓝点是原始keras模型输出。quant = Trueimport tensorflow as tfimportX_train是我的训练数据，我将通过除以255.将输入图像值从0缩放到1，因此我在re
浏览 4提问于2020-05-28得票数 1
1回答
我正在尝试TF1.12的TF-lite转换器.并发现在量化后，the的精度不正确.以convolution_test_lite.py为例，如果使用以下命令转换为f32，则在使用conv_net_f32.
浏览 1提问于2020-05-26得票数 4
回答已采纳
在应用训练后量化后，我定制的CNN模型被缩小到原来大小的1/4 (从56.1MB减少到14 my )。这使我怀疑转换后的tflite模型仍然是浮点数格式。这是预期的行为吗？我怎样才能像在中一样，从TensorFlow官方存储库中获得一个量化的模型，以获取8点精度的输入图像？在示例代码中，用于输入ByteBuffer ()的tflite.run()对于量化模型来说具有8位精度。
但我也从google文档中读到：“根据推断，权重从8位精度转换为浮点，并使用浮点内核
浏览 1提问于2018-10-17得票数 2
回答已采纳
我正试图根据 ()量化，我想我遇到了和一样的问题(train_nets.py In.187:在train_op = train(...)之前或在train() utils/common.py In.38中，在梯度之前)
它没有在图形中添加量化感知操作来收集动态范围max\min。我假设我应该看到一些额外的节点在张力板，但我没有，因此，我认为我没有成功地添加量化感知操作的
浏览 0提问于2020-07-27得票数 0
回答已采纳
我正在使用tensorflow 1.15，因为依赖于多个其他模块，并且难以进行量化感知培训。在使用tensorflow 1.15进行训练时，有任何方法可以进行量化吗？
浏览 4提问于2022-02-01得票数 0
我正在尝试将DNN模型的.pb格式更改为.tflite，我还想量化所有的权重和偏差。当使用以下代码时，权重以8位为单位进行量化，但偏置仍然是浮点数。
我已经使用了tf-nightly的最新版本。
浏览 54提问于2019-08-22得票数 0
回答已采纳
目前，我正试图理解量化感知的TensorFlow培训。据我所知，伪量化节点需要收集动态范围信息作为量化操作的校准。当我将同一模型与“普通”Keras模型和一次量化感知模型进行比较时，后者具有更多的参数，这是有意义的，因为我们需要在量化感知训练中存储激活的最小值和最大值。，为什么每个层有5个额外的不可训练参数，它们到底用于什么？。
我很感激任何帮助我(和其他偶然发现这个问题的人)理解量化感知<
浏览 9提问于2020-05-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
