【导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8量化。 ，Distribution Adaptive INT8认为梯度可以channel-wise看，分成两种分布，一个高斯分布，一个是倒T形分布，这样去minimize量化后梯度与原来梯度的量化误差Error Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。 整个pipeline： SpeedUp: 这里有个重要的cuda层的优化： 实验： 知乎链接： 量化 | INT8量化训练 首发于GaintPandaCV，未经允许，不许转载
【GiantPandaCV导读】本文聊了两篇做INT8量化训练的文章，量化训练说的与quantization-aware Training有区别，量化训练指的是在模型训练的前向传播和后向传播都有INT8 Pytorch实现卷积神经网络训练量化(QAT) 一、Distribution Adaptive INT8 ? Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，与Distribution Adaptive INT8不同的是通过收敛性分析方程，发现可以通过降低学习率和减少梯度量化误差 Unified INT8也是类似minimize量化后梯度与原来梯度的量化误差Error的思想，Unified INT8是通过收敛性分析方程，发现了可以通过降低学习率和减少梯度量化误差。 这里有个重要的cuda层的优化： ? 实验： ? ? 知乎链接： （量化 | INT8量化训练）https://zhuanlan.zhihu.com/p/364782854
腾讯云精选爆款云服务器限时体验20元起，云数据库19.9元/年起，还有更多热门云产品满足您的上云需求
当前CNN模型基本都是 float32，将其转换为 INT8 可以降低模型大小，提升速度，精度降低的也不太多。那么在实际中如何实现这个量化了？ 这里主要涉及两个问题：1）就是 int8量化；2）就是 int8 模型的使用 基于Caffe-Int8-Convert-Tools进行caffe模型转int8量化 在 NCNN 框架上运行 https ://blog.csdn.net/u014644466/article/details/83278954 首先是基于 Caffe-Int8-Convert-Tools 这个工具进行 int8量化 also it's the quantize scale value squeezenet.load_model("squeezenet_v1.1.bin"); NCNN 框架主要针对 android 优化的 计算精度如何 A armv7 neon float 不遵照 ieee754 标准，有些采用快速实现(如exp sin等)，速度快但确保精度足够高 Q pc 上的速度很慢 A pc都是x86架构的，基本没做什么优化，
那下面简单的命令就可以完成卸载了 sudo pip uninstall tensorflow_gpu sudo pip3 uninstall tensorflow_gpu 这里介绍一个完全基于 Tensorflow 的模型量化方法 /convert_weights_pb.py 2）完全基于 Tensorflow 的量化 https://blog.csdn.net/u011961856/article/details/76736103 1.源码编译安装tensorflow 可参考 https://blog.csdn.net/u011961856/article/details/76725411 2 编译量化工具 sudo bazel build tensorflow/tools/quantization:quantize_graph 3.模型量化: sudo bazel-bin/tensorflow/tools/quantization ，处于开发阶段，tensorflow lite 是应该已经支持 量化模型的运行， 而 tensorflow 本身的支持很有限，貌似正在集成
ncnn是腾讯开源为手机端极致优化的高性能神经网络前向计算框架。 仰赖ncnn社区开发者的贡献，ncnn在2019年年初便已实现int8模型量化和推理。 但因后来失去社区开发者的持续投入，ncnn的int8量化推理效率迟迟没有加速。 ncnn github issue区大家关于int8量化后速度的质疑： ? 最终，在int8量化和推理加速上，ncnn提供了一个成品，给出了一个答案。 table完全不变 int8模型量化流程完全不变 ncnn int8量化工具(ncnn2table)新特性 支持 kl aciq easyquant 三种量化策略 支持多输入的模型量化 支持RGB/RGBA /BGR/BGRA/GRAY输入的模型量化 大幅改善多线程效率 离线进行(反量化-激活-量化)->(requantize)融合，实现端到端int8量化推理 ncnn int8量化推理新特性 conv/convdw
从上面的介绍引出这篇论文的目的，即是要将乘法的输入：权重和激活值都量化成比较小的位宽，即int8量化。 训练后量化比较容易理解，即将训练后的模型中的权重从float32量化到int8，并以int8的形式保存，但在实际推理时，还需要反量化为浮点数类型进行计算。 而训练中量化意思是在训练的过程中引入伪量化操作，即在前向传播的时候，采用量化后的权重和激活值，但在反向传播的时候仍然对float类型的权重进行梯度下降，前向推理时全部使用int8的方式进行计算。 对于int8量化，就是8-bit整数，对于B-bit量化，q就是B-bit的实数，对于有bias的情况，就固定量化为·32-bit的实数。 得到了int32之后的结果后需要再次转换成int8类型(反量化)，之后再执行激活函数的操作。 4. 模拟量化训练 在介绍中提到，后处理量化过程适合大模型，而小模型会导致精度损失比较大。
前言 在2020年以前，OpenVINO(这里以OpenVINO2019年最新的一个版本为例)的Int8量化工具实现在openvino_2019.3.379\deployment_tools\tools 要做Int8量化首先需要将你需要部署的模型Caffe/Pytorch/Tensorflow转化为OpenVINO的IR中间模型。 Python* Calibaration Tool 介绍 校准工具可量化给定的FP16或FP32模型，并在使模型输入保持原始精度的情况下生成低精度的8位整数（INT8）模型。 您可以在两种模式下运行校准工具： 标准模式以指定量化后的模型相对于原始模型在精度下降不超过一个阈值的方式运行。标准模式在量化过程中利用精度检查工具(. 校验模型 在校准过程中，将对模型进行调整，以进行有效的量化并最小化在校准数据集上的准确度下降。校准工具会生成校准后的模型，将其加载到CPU插件后以低精度8位量化模式执行。
API接口完全不变 量化校准table完全不变 int8模型量化流程完全不变（重点是这个！！！ 二、新版ncnn的int8量化初探 趁着这股热风，赶紧试下新版ncnn量化版int8（更重要的原因是月底要中期答辩了，毕设还没搞完，赶紧跑跑大佬的库，顺带嫖一波） 2.1 安装编译ncnn 话不多说， ：为了支持int8模型在移动设备上的部署，我们提供了通用的训练后量化工具，可以将float32模型转换为int8模型。 量化工具所在目录 找不到的读者请看下自己编译过程是不是有误，正常编译下是会有这些量化文件的 运行成功后会生成两个int8的文件，分别是： ? 生成的量化模型 对比一下原来的两个opt模型，小了整整一倍! 三、新版ncnn的int8量化再探 量化出了int8模型仅仅是成功了一半，有模型但是内部参数全都错乱的情况也不是没见过。。。 ?
官方例子中提供了一个MNIST数据集的INT8量化，过程也是先用nvcaffeparser解析Caffe模型然后直接做量化并将原始模型序列化为TRT文件以供后面的图像推理。 所以，我这里走的路就是直接解析ONNX模型->INT8量化->序列化为TRT文件->完成推理。 3. 首先宏观的说一下，TensorRT对一个模型进行全INT8量化包含权重和激活值两大部分，对于权重采用的是直接非饱和量化，也就是说直接统计权重的最大值和最小值就可以完成量化。 因此，在INT8量化之前我们首先需要准备一下校准集。这里怎么准备呢？ 量化的Table文件以及INT8量化后的TRT序列化文件，后面就可以直接加载这个文件进行推理了。
【GiantPandaCV引言】 还记得我在两个月前写的文章吗，关于yolov4-tiny+ncnn+int8量化的详细教程：NCNN+INT8+YOLOV4量化模型和实时推理 后来准备写yolov5+ ncnn+int8量化的教程，却在yolov5的量化上遇到了麻烦，一方面是量化后速度更慢了，另一方面是精度下降严重，出现满屏都是检测框的现象，后来经过很多尝试，最终都以失败告终。 五、Int8量化 更加详细的教程可以参考本人知乎博客关于yolov4-tiny的教程，很多细节的东西本篇不会累述（下方附链接）。 量化后的模型如下： 量化后的模型大小大概在1.7m左右，应该可以满足你对小模型大小的强迫症； 此时，可以使用量化后的shufflev2-yolov5模型进行检测： 量化后的精度略有损失，但还是在可接受范围内 int8模型检测效果: 户外场景检测: 七、参考 【1】nihui：详细记录u版YOLOv5目标检测ncnn实现 【2】pogg：NCNN+Int8+YOLOv4量化模型和实时推理 【3】pogg
前言 接着上文，我们知道了Int8量化的操作过程是： 转换数据集获得Annotations文件。 （可选的）评估低精度模型性能。 校验模型。 评估结果模型。 可以看到在用Calibaration Tool进行Int8量化之前需要先解决如何将我们的原始数据集转为Annotations文件以及我们如何用精度检查工具(Accuracy Checker Tool)去评估我们的量化后模型的表现 你需要安装Caffe的模型优化器来运行Caffe模型。 后记 今天讲完了OpenVINO在Int8量化之前如何将我们的原始数据集转为Annotations文件以及明确精度检查工具(Accuracy Checker Tool)需要的配置文件中启动器的设置细节， 相信配合昨天的文档，使用OpenVINO做Int8量化流程就很清晰了，笔者刚刚成功Int8量化一个分类模型，有问题可以互相交流。
在将浮点的梯度量化到INT8数值范围内之后，训练过程变得极其不稳定，并且收敛到非常差的精度。如何解决量化梯度给训练带来的收敛稳定性问题，是十分重要的问题。 何为INT8训练 标准的线性量化操作指的是，将一个浮点张量（tensor）进行线性映射，变换到整数空间中[3]。 反量化公式如下所示，其中q为量化计算结果，s为量化系数，为反量化后的结果。 ? 上图的上半部分展示了标准的卷积神经网络量化计算前向过程，该过程被广泛应用在INT8部署加速中。 在卷积计算之前，量化器会对输入和权重进行量化操作，将浮点数量化到8bit数值上，通过INT8卷积计算核心，即可完成一次INT8前向计算，最终将求和得到的32bit数进行反量化操作回算到浮点数域中，以供给下一层计算使用 由于INT8反向卷积输出的是32bit数，与前传类似，需要引入一次反量化操作，将32bit数反算回到浮点数域中。 ? 梯度为何难以量化 为什么对梯度进行量化会给网络训练带来如此大的影响？
其中后者是轻量级版本，API调用更灵活。例如对于整数乘法，cublasLtMatmul支持int8的输入输出，而cublasGemmEx只支持int8输入，int32输出。 core，所以int8的两个结果是相同的。 而int8是速度最快的，所以如果训练和推理也都能使用int8的话，速度上将会迈上一个新的台阶。 那么一个浮点数的矩阵乘法怎么转变为整数的矩阵乘法呢？这里我不会详细讲，后续会出一个详细的量化教程。 结语 int8甚至更低比特的量化的实际收益非常大，提速可以达到将近2倍。虽然现在有很多现成的自动量化工具，但是效果上或多或少都有一定的损失，速度上也没有达到极致。 因此今后量化是一个不错的方向，值得一试。 - END -
作者 | godweiyang 模型量化是模型加速方向一个很重要的方法，主要思想就是用int8数据格式来存储和进行计算。这样做有两点好处： 可以减小模型存储的体积。 原本float32存储需要4个字节，现在int8存储只需要1个字节，体积是原来的1/4。 可以加快计算速度。这主要是因为int8数据的读写更快，并且int8矩阵乘法一般来说会更快一点。 总结 如果矩阵乘法两个输入的范围都是关于零点对称的，那么计算公式为： 「量化：」 「反量化：」 如果矩阵乘法其中一个输入是relu的结果，那么计算公式为： 「量化：」 「反量化：」 当然还有很多其他情况 此外为了减小量化的损失，还需要在模型结构中插入伪量化节点，然后进行量化感知训练（QAT）。接着还需要将finetune后的模型存储为int8格式。然后还需要开发加载int8模型的推理加速库代码。 网上关于量化的优秀教程非常多，我不会讲太多理论上的量化知识，只会从实践的角度来白话一下我们在Transformer模型量化过程中做的一些尝试。
类型声明 声明某个变量的类型，也可以用来断言变量类型是否正确 (2+4)::Float64 >> ERROR: ... (2+4)::Int64 6 类型声明常用的两个地方在函数中的参数类型和返回类型 是可以实例化为对象的。 也可以像C++中的强制类型转换的用法一样 Int8(10) convert(Int8, 10) 但这种强转仅限于数字之间，而且不能越界 Int8(1000) >>error Int8("10") >> 我们前面讲到的原始类型、抽象类型和复合类型都支持参数化。 元组类型可以具有任意数量的参数。 元组类型的参数是协变的：Tuple{Int} 是 Tuple{Any}的子类型。
一.数据类型 1.字符串类型 string 2.数字类型 有符号整型: int: int 在32位机器上是int32 在64位机器是int64 int8: int8 表示数字范围是 正负2的7次方减1, 由于他是有符号的其中一个要来表示正负,长度8bit位也就是一字节 int16: 类似int8 int32: 类似int8 int64: 类似int8 无符号整型: uint :uint 在32位机器上是 uint32 在64位机器是uint64 uint8 : int8 表示数字范围是 正2的8次方 uint16 uint32 uint64 浮点型 float32 : 有符号小数,32后7位 float64 rune:rune是int32的别名 byte:byte 是uint8的别名 3.布尔类型(首字母小写) false和true 4.派生类型(简单介绍) 指针类型（Pointer） 数组类型 结构化类型 (struct) Channel 类型 函数类型 切片类型 接口类型（interface） Map 类型 二.变量的声明 方式一 单个变量 var 变量名 变量数据类型=变量值 多个变量 a,
得到量化后的二进制描述子。 网络优化/量化 对一个卷积层的量化需要考虑的因素包括：权重精度、特征精度以及是否使用高精度的残差等。当对整个网络进行量化时，多层卷积组合在一起需要考虑的因素将形成一个巨大的参数搜索空间。 使用二进制表示可以极大地提到吞吐量，但是性能下降明显；为应对性能下降，本文引入了用于构建高精度残差的INT8表示。 小结: 若直接将网络第一层与最后一层量化为INT8，则效果下降明显；混合精度网络可以获得精度较高的效果；仅有BIN-R 或INT8的卷积将会使网络陷入次优；对于预测头（head），特征点位置以及得分必须保持是 FP，而描述子可以被量化为INT8。
： image.png 论文算法解读 量化的定义 image.png 优化目标 量化推理的流程图 ? https://arxiv.org/pdf/2006.16669.pdf 首先看最左边的方框，权值和激活从float32量化到int8，权值因为可以分通道量化，所以可以看到权值的量化因子是分了3种不同颜色的立方体分别对应了权值 https://arxiv.org/pdf/2006.16669.pdf 最后看最右边的方框，表示得到卷积层输出量化激活结果之后，如果下一层不是量化计算层，则直接除以权值和输入激活的量化因子，得到反量化的输出 如果下一层也是量化层，则除了除以权值和输入激活的量化因子还需要再乘以下一层的输入量化因子得到量化后的下一层的输入（Requantize）。 优化单层量化因子 image.png ? https://arxiv.org/pdf/2006.16669.pdf 在imagenet2012验证集上的结果，可以看到不管是量化到int8还是int7，EasyQuant的精度都超过TensorRT
开发人员可以优化TensorFlow或Caffe培训过的模型，以生成内存效率高的运行时引擎，从而最大限度地提高推理吞吐量，从而使深度学习对于像自动驾驶这样的延迟关键产品和服务变得切实可行。 作为第一步，使用TensorRT优化网络，使用FP32精度提供了一个良好的加速。仅仅通过使用TensorRT，我就实现了170毫秒的延迟和大约6张图像/秒的吞吐量。 INT8推理与校准 DRIVE PX AutoChauffeur中的Pascal dGPU能够执行8位整数4元向量点积(DP4A，见图6)指令来加速深度神经网络推理。 优化Drive PX上的INT8模型 TensorRT builder实现了一个基于分析的优化，称为内核自动调优。这个过程需要在目标设备上优化网络。 图7.与在Caffe中运行的原始网络相比，使用TensorRT进行INT8推理可以提高大约5倍的推理吞吐量和延迟 您可以将优化后的引擎序列化到一个文件中进行部署，然后就可以在Drive PX上部署INT8
julia> x = 0x01; typeof(x) UInt8 julia> x *= 2 # Same as x = x * 2 2 julia> typeof(x) Int64 向量化的“点” 例如，[1,2,3] ^ 3未定义，因为没有标准的数学意义来“ [1,2,3] .^ 3立方化” 数组，而是定义为计算元素（或“向量化”）结果[1^3, 2^3, 3^3]。类似地，对于像! 而且，像所有向量化的“点调用”一样，这些“点运算符”也在融合。例如，如果你计算2 .* A.^2 .+ sin. 而且，这些函数（像任何Julia函数一样）可以通过点语法 以“矢量化”方式应用于数组和其他集合f.(A)，例如sin.(A)将计算数组中每个元素的正弦值A。 /float.jl:651 [2] round(::Type{Int8}, ::Float64) at ./float.jl:337 见推广转化为如何定义自己的转换和促销活动。
云端获取和启用云服务器，并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费，可以为您节约计算成本。 腾讯云服务器（CVM）为您提供安全可靠的弹性云计算服务。只需几分钟，您就可以在云端获取和启用云服务器，并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费，可以为您节约计算成本。
扫码关注云+社区
领取腾讯云代金券
云服务器
测试服务 WeTest
文件存储
命令行工具
SSL 证书