腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1777)
视频
沙龙
1
回答
tflite
量化
推理
非常
慢
、
、
我正在尝试将经过训练的模型从检查点文件转换为
tflite
。我正在使用tf.lite.LiteConverter。在合理的
推理
速度下,浮点数转换进行得很好。但是INT8转换的
推理
速度很慢。我试图通过输入一个
非常
小的网络来进行调试。我发现INT8模型的
推理
速度通常比浮点模型
慢
。在TensorFlow
tflite
文件中,我发现了一些名为ReadVariableOp的张量,它在TensorFlow的官方mobilenet
tflite
模型中并不存在。
浏览 91
提问于2019-10-12
得票数 8
1
回答
为什么TensorFlow Lite模型在动态范围
量化
时在延迟上表现很好,而在全整数
量化
时表现很差?
、
、
我目前正在测试与TensorFlow Lite转换的CNN
推理
的延迟时间。我正在测试两个具有相同架构的CNN(我正在用Windows操作系统在我的笔记本上测试它们): 第一个模型:使用TensorFlow优化的
TFLite
模型及其权重
量化
(使用Python进行转换,用tensorflow.lite.Optimize.DEFAULT
量化
)。第二个模型:使用TensorFlow优化的
TFLite
模型及其权重和激活,对进行
量化
(使用Python进行转换,用tensorflow.lite.O
浏览 2
提问于2021-02-04
得票数 0
1
回答
在英特尔处理器上,
Tflite
Quant
推理
比
TFlite
float32
慢
、
、
、
我使用默认优化(Float32)设置将网络转换为
TFlite
,其
推理
速度约为25fps。当我转换为
TFlite
INT8
量化
时,它的
推理
速度在英特尔8核英特尔酷睿i9 2.3 GHz上约为2 fps。这在CPU上是预期的吗?有人能解释一下是什么导致INT8
推理
速度
慢
吗?
浏览 45
提问于2020-10-30
得票数 0
1
回答
为什么
量化
的TensorFlow Lite模型在延迟方面表现不佳?
、
、
我目前正在测试用TensorFlow Lite转换的U-Net网络
推理
的延迟时间。第二个模型:使用
TFLite
优化的TensorFlow模型(使用Python进行转换并不进行
量化
)。这实际上是第一个转变的模型。第三个模型:使用TensorFlow优化和
量化
的
TFLite
模型(使用Python进行转换,用tensorflow.lite.Optimize.DEFAULT进行
量化
)。实际上,第二个模型(使用
TFLite
优化)将第一个模型(普通TF模型)的时间性能提高了x3的一
浏览 4
提问于2021-01-08
得票数 1
1
回答
我使用的是哪种机器学习模型,有名字吗?
我目前正在编写一份关于我所做的
推理
基准的报告。在这些基准测试中,我使用了各种形式的YoloV3 3-微型,如TensorFlow、
TFLite
、
TFLite
8位
量化
、TRT 8位
量化
、边缘TPU 8位
量化
模型。我知道这些基本上都是两种格式(.pb和.
tflite
),但我想知道是否有一个通用术语适用于此。 它是型号,变体,格式,版本吗?基本上,我想说的是: YoloV3-Tiny在各种_____中都被使用,以显示不同的_____模型对
推理
时间的影响。
浏览 5
提问于2022-03-16
得票数 -1
1
回答
TFLite
解释器:定义最佳线程数
、
、
、
、
我正在运行一个
量化
的
TFLite
模型(在Linux中),用于使用XNNPack后端进行
推理
。我意识到
TFLite
模型可能会遭受预测的高延迟,我正在尝试通过定义
TFLite
.Interpreter(num_threads=X)的线程数量来优化它的性能。(我们
非常
欢迎其他可以加快
推理
速度的优化!)我使用的模型是一个
量化
的google BERT。 谢谢。
浏览 124
提问于2021-07-07
得票数 0
2
回答
如何在tensorflow/示例中转换像mobilenet_v1_1.0_224_quant.
tflite
这样的模型?
我正在尝试int8
量化
我的模型在TensorFlow Lite上。转换本身使用tensorflow 1.15.3,但转换模型在麒麟990上运行得
非常
慢
。tensorflow/示例中的mobilenet_v1_1.0_224_quant.
tflite
在Kirin 990上运行得很快。 所以我检查了差异。我的模型是int8(tf.lite.OpsSet.
TFLITE
_BUILTINS_INT8)
量化
,而mobilenet_v1_1.0_224_quant.
tflite</e
浏览 9
提问于2020-09-02
得票数 2
1
回答
我可以
量化
我的tensorflow图表的完整版本的TF,而不是
tflite
?
我需要
量化
我的模型,以便在tensorflow的完整版中使用。我不知道该怎么做(在模型
量化
的官方手册中,模型是以
tflite
格式保存的)
浏览 4
提问于2019-07-04
得票数 0
1
回答
如何确保
TFLite
解释器只使用int8操作?
、
、
、
、
我一直在使用Tensorflow的
TFLite
研究
量化
。据我所知,
量化
我的模型权重是可能的(这样它们将使用更少4倍的内存存储),但这并不意味着模型不会将其转换为浮点数来运行它。我还了解到,要仅使用int运行我的模型,我需要设置以下参数: converter.target_spec.supported_ops = [tf.lite.OpsSet.
TFLITE
_BUILTINS_INT8
浏览 68
提问于2020-04-07
得票数 3
回答已采纳
1
回答
TensorRT/
TFlite
示例实现
、
、
、
有了经过训练的“.h5”Keras模型文件,我正在尝试优化
推理
时间: (打开以提高TensorFlow和Keras支持的
推理
速度的其他建议)
浏览 1
提问于2019-07-06
得票数 3
1
回答
基于tensorflow模型
推理
的正确预处理流水线
、
、
、
、
这个问题与从标准的Mobilenetv2模型转换而来的
tflite
模型的推断有关. 为什么
推理
管道有这种区别?有人能帮助正确的步骤,既
量化
的和非
量化
的(浮点模型)
tflite
模型的0-1规
浏览 7
提问于2020-06-11
得票数 1
1
回答
使用
TFLITE
量化
MobileFaceNet失败
、
我成功地将
TFLITE
转换为F32格式,具有很好的准确性。但是,当我使用以下命令
量化
为uint8时失败:
tflite
_convert --output_file tf-lite/MobileFacenet_uint8_128.
tflite
--input_arrays "input" --output_arrays output --out
浏览 13
提问于2020-07-09
得票数 1
回答已采纳
1
回答
TensorFlowLite、TendorFlow-TRT和TensorRT的主要区别是什么?
、
、
、
在Google中使用
TFlite
的管道(当使用TensorFlow 1.x.)is:b.将模型转换为冻结(.pb)e.应用
量化
(INT8)当使用TensorFlow-TRT和TensorRT时,管道是什么?有什么地方可以找到关于它的好文件吗?到目前为止,我认为TensorRT更接近TensorFlow Lite,因为:
TFlite
:编译后,您将得到一个.quant.edtpu.
tflite
文件,
浏览 6
提问于2020-09-07
得票数 1
1
回答
极不相同的量子化特性--角化DenseNet模型的流场转换
、
、
、
、
将这两种模型转换为.pb格式可以很好地工作(
推理
性能相同)。我使用在keras_to_tensorflow上找到的实用工具 在TOCO中使用
量化
将200级模型转换为.
tflite
(前3精度下降了30%)。\ --inference_type FLOAT \ --infere
浏览 2
提问于2018-10-29
得票数 3
1
回答
如何在计算机上而不是在TPU上运行这些Coral AI模型的
推理
?
、
、
、
、
我有Coral AI usb TPU,我成功地运行了入门示例,部署了已经编译/训练过的示例模型(图像分类),并在TPU上运行了一个鹦鹉图像
推理
:--input test_data/parrot.jpg 但是,我想在计算机CPU (例如,我的笔记本电脑或Raspberry Pi )中运行相同模型的
推理
,以比较在加速器中运行
推理
所需的时间,比如如果我的理解是正确的,那么示例mobilenet_v2_1.0_224_inat_bird_quan
浏览 14
提问于2022-04-28
得票数 0
1
回答
每信道
量化
流量
、
、
使用当前的Tensorflow ,如何在
推理
过程中模拟每通道的
量化
?此将每层的
量化
定义为 h1 = tf.nn.conv2d(x, w, strides=[1, 1, 1, 1], padding='VALID') 在当前的A
浏览 1
提问于2019-01-13
得票数 2
回答已采纳
1
回答
用
tfLite
转换珊瑚冻结图
、
例如,我在
tflite
_convert中使用这个 --graph_def_file=optimized_graph.pb \ --output_file=mobilenet_v2_new.
tflite
\ --inference_input_type=FLOAT
浏览 2
提问于2019-03-24
得票数 1
回答已采纳
1
回答
Google Coral Edge TPU编译模型-推断总是几乎相同
、
、
、
、
我可以使用'edgetpu_compiler‘(遵循这个页面的https://coral.withgoogle.com/docs/edgetpu/compiler/#usage)来
量化
和编译模型。但是当我在TPU中运行
推理
时,对于
非常
不同的输入图像,我得到了类似的输出。我使用'
tflite
_convert‘工具对模型进行了
量化
,如下所示:
tflite
_convert --output_file=.然后,当我
浏览 12
提问于2019-09-09
得票数 4
回答已采纳
2
回答
理解tf.contrib.lite.TFLiteConverter
量化
参数
、
、
、
、
在将tensorflow模型转换为
tflite
模型时,我尝试使用UINT8
量化
: graph_def_file='
tflite
-models/=input_node_names, outp
浏览 0
提问于2019-02-22
得票数 9
回答已采纳
1
回答
我可以在Keras序列模型中添加Tensorflow伪
量化
吗?
、
我已经搜索了一段时间,但似乎Keras只有经过训练后才具有
量化
特性。我希望在我的Keras序列模型中添加Tensorflow伪
量化
。根据Tensorflow的doc,我需要这两个函数来做假
量化
: tf.contrib.quantize.create_training_graph()和tf.contrib.quantize.create_eval_graph
浏览 2
提问于2018-09-17
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
跨越重重“障碍”,我从 PyTorch 转换为了 TensorFlow Lite
【Python进阶】Python中的深度学习优化技术:模型压缩与加速
【Python进阶】Python中的深度学习优化技术:模型压缩与加速
与TensorFlow共同进步,kika输入法引擎不断突破升级
如何优化 TensorFlow Lite 运行时内存?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券