GPU 3上的WinML推理时间比Tensorflow python慢
GPU 3上的WinML推理时间比Tensorflow python慢
提问于 2020-02-17 14:43:03
我尝试使用WinML中关于python的tensorflow模型。我成功地将protobuf转换成onnx。取得了下列性能结果：
43s
- OnnxRuntime
- WinML 10 s
- Tensorflow 12 s
对CPU的推断约为86s。
在性能工具上，与其他工具相比，WinML似乎没有正确地使用GPU。WinML似乎使用DirectML作为后端(我们在Nvidia GPU分析器上观察到DML前缀)。可以在WinML中使用Cuda推理机吗？有没有人观察到类似的结果，WinML在GPU上异常缓慢？
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-04-15 05:22:59
我得到了一些关于WinML性能的答案。我的网络使用的是仅在Windows2004中由LeakyRelu支持的DirectML。在Windows早期版本中，此问题会禁用DirectML Metacommand的使用，从而导致性能下降。使用新的windows版本，我在WinML上获得了良好的性能。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/60264844
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号