腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
将tensorflow模型转换为tflite输出的
int8
,我无法对其进行反
量化
、
我目前已经使用下面的类脚本
量化
了一个tensorflow模型:我能够成功地
量化
我的模型,但是输入和输出是
int8
,因为这些是
量化
后的选项。不出所料,我得到的输出是
int8
。 我想将输出传回float32并检查它。为此,我使用tf.dequantize。但是,这只适用于tf.qint8数据类型。
浏览 20
提问于2021-02-13
得票数 0
2
回答
火炬中的
int8
数据类型
、
、
怎样才能最好地使用
int8
数据类型来运行
量化
模型呢?我知道在pytorch中我可以将张量定义为,但是,当我真正想要使用
int8
时,我得到:因此,我很困惑,如何在pytorch中运行
量化
模型,例如,当计算块(如卷积)不支持数据类型时,如何使用
int8
?
浏览 0
提问于2019-03-21
得票数 1
回答已采纳
2
回答
如何在tensorflow/示例中转换像mobilenet_v1_1.0_224_quant.tflite这样的模型?
我正在尝试
int8
量化
我的模型在TensorFlow Lite上。转换本身使用tensorflow 1.15.3,但转换模型在麒麟990上运行得非常慢。我的模型是
int8
(tf.lite.OpsSet.TFLITE_BUILTINS_INT8)
量化
,而mobilenet_v1_1.0_224_quant.tflite则是uint8
量化
。Conv2D的“过滤器”属性在mobilenet_v1_1.0_224_quant.tflite中有一个“
量化
”属性,而在我的转换模型中,Conv2D的“
浏览 9
提问于2020-09-02
得票数 2
3
回答
TensorFlow伪
量化
层也是从TF-Lite调用的。
、
、
、
我使用TensorFlow 2.1来训练具有
量化
感知训练的模型.这些节点应该调整模型的权重,这样它们就更容易被
量化
为
int8
,并且更容易处理
int8
数据。此外,当我在this C++ 中运行这个
量化
模型时,我看到它在推理过程中也运行假
量化
节点。此外,它还对各层之间的激活进行了
量化
和
量化
。这是C++代码输出的一个示例: 投入:1节点1运算符内置代码114
量化
投入: 2
浏览 10
提问于2020-06-17
得票数 5
1
回答
如何找到
量化
matmul/conv2D运算的浮点输出范围
、
、
、
我是tensorflow和
量化
的新手,我正在尝试为两个
int8
输入实现
量化
矩阵操作。很好奇地想知道操作背后的数学原理。我在tensorflow中看到,他们只对uint8输入实现了同样的方法,想知道如何将其用于带符号的
int8
matmul/conv2D。
浏览 3
提问于2018-10-26
得票数 0
1
回答
如何将grid_sample模型转换为
INT8
量化
的TensorRT模型?
、
、
、
我试图通过ONNX (opset 11)将torch.nn.functional.grid_sample的模型从Pytorch (1.9)转换为使用
INT8
量化
的
INT8
(7)。有了它,转换到TensorRT (有和没有
INT8
量化
)是成功的。没有
INT8
量化
的Pytorch和TRT模型提供的结果接近相同的结果(MSE为e-10阶)。在这种情况下,TensorRT结果与不带
INT8
量化
的结果是相同的。这样的
量化
不是
浏览 2
提问于2021-09-13
得票数 0
1
回答
如何确认我的pytorch模型的权重是否已被
量化
、
、
、
我使用英特尔lpot()成功地
量化
了一个用于huggingface文本分类的pytorch模型。model = AutoModelForSequenceClassification.from_pretrained('fp32/model/pathlpot.utils.pytorch import load modellpot = load("path/to&
浏览 29
提问于2021-09-29
得票数 0
1
回答
训练后
量化
权重的keras模型评估
、
、
、
、
但是,在决定FPGA上使用的定点位宽之前,我需要通过将权重
量化
为8或16位数字来评估模型精度。我遇到了,但我不确定如何从每一层获取权重,
量化
它并将其存储在numpy数组列表中。在对所有层进行
量化
后,我希望将模型的权重设置为新形成的
量化
权重。有人能帮我做这个吗? 这就是我到目前为止一直在尝试将精度从float32降低到float16的方法。请让我知道这是不是正确的方法。
浏览 2
提问于2018-10-15
得票数 5
1
回答
基于
量化
LeNet5模型的TFLite推理。如何使用M参数将int32缩小到
int8
?
、
、
、
、
我使用TensorFlow Lite来
量化
FP32权重,并激活
INT8
。我提取并可视化了重量,偏倚,零分的鳞片,多亏了尼特恩. 我需要用C语言设计LeNet5 CNN。但是,我不明白用
INT8
格式进行推断的要点。从“有效整数-算术推理的神经网络
量化
和训练”:中,作者详细描述了用
量化
INT8
卷积进行推理的工作流程:在输入和权值之间的卷积步骤之后的,然后加上偏差,作者精确地说明了从INT32到
INT8
的降尺度是由M
浏览 17
提问于2021-12-22
得票数 0
1
回答
FP32矩阵乘法的
INT8
量化
、
、
、
、
我尝试在FloatingPoint32bit矩阵乘法之前应用INT8bit
量化
,然后将累积的INT32bit输出重新
量化
为INT8bit。毕竟,我猜在这个过程中有几个地方搞错了。数据流仿射
量化
input(fp32) -> quant(
int8
) -/INPUT(FP32)
浏览 8
提问于2021-10-18
得票数 0
1
回答
如何
量化
OpenVINO工作台上的特定层?
、
、
我有一个经过训练的onnx模型,需要
量化
到
INT8
。但我希望我的最后一个完全连接的层仍然在FP32或FP16中。那么,我如何选择特定的层来
量化
(或不
量化
)?
浏览 13
提问于2022-11-09
得票数 0
1
回答
如何重写tensorflow代码使模型训练更快?
、
、
问:我的训练太慢了。我如何重写我的代码,使我的深度学习模型训练更快? 背景:我用TensorFlow 2.8.1构建了一个CNN,用一个定制的丢失函数对CIFAR-100图像进行分类。CIFAR数据集包括由100个精细类(如熊、汽车)组成的32x32像素的RGB图像,分为20个粗类(例如大型杂食类、车辆类)。我的自定义损失函数是其他两个损失函数的加权和(参见下面的代码)。第一个成分是精细标签的交叉熵损失。第二个成分是粗标签的交叉熵损失。我希望这种自定义丢失功能将加强粗标签的精确分类,以获得更准确的精细标签分类(手指祈祷)。比较器将只是细标签(基线模型)的交叉熵损失。注意,为了导出粗(层次)损失
浏览 7
提问于2022-09-20
得票数 0
1
回答
获得完全
量化
的TfLite模型,并在
int8
上进行输入和输出
、
、
我用Tensorflow 1.15.3
量化
了一个Keras h5模型(Tf1.13;keras_vggface模型),以便与NPU一起使用它。converter.inference_output_type = tf.int8 # or tf.uint8我得到的
量化
模型一见钟情输入层类型为
int8
,滤波器为
int8
,偏置为int32,输出为
int8
。 然而,模型在输入层之后有一个
量化
层,输入层是float
浏览 4
提问于2020-09-09
得票数 1
回答已采纳
1
回答
tensorflow 2.2.0中的
量化
感知训练产生更高的推理时间
、
、
、
、
我的工作是
量化
在传输学习中使用MobilenetV2的个人数据集。我尝试过两种方法: images_ = cv2.resize(cv2.cvtColor(cv2.imread(imagepa
浏览 5
提问于2020-09-09
得票数 1
2
回答
用于珊瑚开发板(coral.ai)的.pb到tflite
int8
的转换问题
、
、
、
、
/tensorflow-yolov4-tflite将生成的权重文件转换为tensorflow lite,我能够将yolo权重转换为pb和tflite float16,但使用此存储库转换为tflite
int8
我尝试了很多东西来把它转换成tflite
int8
。 我现在正在与珊瑚开发板,这需要tflite
int8
量化
,请指导我如何转换的pb权重文件到tflite
int8
。
浏览 36
提问于2021-04-07
得票数 0
1
回答
是否可以将TFLite配置为将带有偏置
量化
的模型返回到
int8
?
、
、
、
、
为此,我使用Tensorflow Lite提供的训练后
量化
机制对原始ANN进行了
量化
。如果权重确实
量化
为
int8
,则会将偏移从float转换为int32。考虑到我假装在CMSIS-NN中实现这个ANN,这是一个问题,因为他们只支持
int8
和int16数据。 是否可以将TF Lite配置为也将偏差
量化
为
int8
?
浏览 18
提问于2020-08-07
得票数 2
1
回答
在英特尔处理器上,Tflite Quant推理比TFlite float32慢
、
、
、
当我转换为TFlite
INT8
量化
时,它的推理速度在英特尔8核英特尔酷睿i9 2.3 GHz上约为2 fps。这在CPU上是预期的吗?有人能解释一下是什么导致
INT8
推理速度慢吗?
浏览 45
提问于2020-10-30
得票数 0
1
回答
巨蟒的负荷-流场模型
、
、
我正在使用Tensorflow Lite进行一个TinyML项目,该项目包括
量化
模型和浮点模型。在我的管道中,我使用tf.keras API训练我的模型,然后将模型转换成TFLite模型。最后,将TFLite模型
量化
为
int8
模型。每次都要经历
量化
过程,这是相当耗时的。
浏览 3
提问于2021-06-25
得票数 2
回答已采纳
1
回答
TensorFlow
量化
感知训练
量化
节点附加参数的研究
、
目前,我正试图理解
量化
感知的TensorFlow培训。据我所知,伪
量化
节点需要收集动态范围信息作为
量化
操作的校准。当我将同一模型与“普通”Keras模型和一次
量化
感知模型进行比较时,后者具有更多的参数,这是有意义的,因为我们需要在
量化
感知训练中存储激活的最小值和最大值。我很感激任何帮助我(和其他偶然发现这个问题的人)理解
量化
感知训练的提示或进一步的材料。
浏览 9
提问于2020-05-06
得票数 0
回答已采纳
1
回答
关于更改Keras中权重的小数精度的可能性
、
、
、
、
有一个问题,我需要在Keras中更改图层权重的小数精度。有什么解决方案吗?我知道有一种方法可以在16/32/64之间改变权重的格式,但我真正想做的是将权重限制在特定的数字上,例如, 一组权重:将1.0454446更改为1.0454000,类似于floor()函数 是否有一些用于该操作的模块函数?或者无论如何,我可以直接更改模块?
浏览 21
提问于2020-04-25
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
量化=量化系统+定性与定量结合
量化
量化报告
量化交易
旷视天元MegEngine开源 CUDA INT4 量化源码实现
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券