cuDNN兼容性问题造成的caffe/mnist,py-faster-rcnn/demo运行结果错误

问题描述

我有两台电脑,一台笔记本GTX965M显卡,台式机是GTX1060显卡 两台电脑上的软件环境都一样:ubuntu16+cuda8.0+cuDNN4,显卡驱动nvidia-378 在笔记本上运行Caffe带的MNIST手写体识别训练,和py-faster-rcnn的目标检测演示程序(demo.py)很正常(GPU,CPU模式都正常), 在台式机上运算,CPU模式正常,但是GPU模式下结果居然不对了:

以下是MNIST训练的运算结果

I0316 12:42:03.299001 12558 solver.cpp:454] Snapshotting to binary proto file examples/mnist/lenet_iter_10000.caffemodel I0316 12:42:03.303056 12558 sgd_solver.cpp:273] Snapshotting solver state to binary proto file examples/mnist/lenet_iter_10000.solverstate I0316 12:42:03.305409 12558 solver.cpp:317] Iteration 10000, loss = 2.29934 I0316 12:42:03.305425 12558 solver.cpp:337] Iteration 10000, Testing net (#0) I0316 12:42:03.350900 12558 solver.cpp:404] Test net output #0: accuracy = 0.1135 I0316 12:42:03.350924 12558 solver.cpp:404] Test net output #1: loss = 2.3011 (* 1 = 2.3011 loss) I0316 12:42:03.350927 12558 solver.cpp:322] Optimization Done. I0316 12:42:03.350930 12558 caffe.cpp:254] Optimization Done.

正常情况下10000次迭代后的精度应该是0.99左右,但现在居然是 0.1135 ! 对于10个数字而言这基本上就是瞎猜的精度啊。

运算py-faster-rcnn的demo程序如下,

Loaded network /home/guyadong/tmp/py-faster-rcnn/data/faster_rcnn_models/VGG16_faster_rcnn_final.caffemodel ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Demo for data/demo/000456.jpg Detection took 0.084s for 300 object proposals ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Demo for data/demo/000542.jpg Detection took 0.081s for 259 object proposals ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Demo for data/demo/001150.jpg Detection took 0.067s for 223 object proposals ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Demo for data/demo/001763.jpg Detection took 0.066s for 201 object proposals ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Demo for data/demo/004545.jpg Detection took 0.066s for 172 object proposals

正常情况下,最后应该显示画了目标标注矩形框的图像,然鹅现在没有任何结果图像显示。。。而且每个检测执行时间都在几十毫秒级别,太快了,相当于没执行。

解决方案

在台式机上折腾多次找不到原因,我又回到笔记本上准备再验证一下,发现我在笔记本上曾经用cuDNN5.1编译过caffe,回想起最初我是用cuDNN5.1的,而且也运行过MNIST训练,而且CPU和GPU模式运行结果都是正常的。 于是将台式机上换成了cuDNN5.1版本。 重新编译Caffe后,再执行MNIST训练,正常! 重新编译py-faster-rcnn/caffe-fast-rcnn后,demo.py,正常!

换成cuDNN5.1后编译py-faster-rcnn/caffe-fast-rcnn时,会有编译错误, 解决方法参见我的上一篇博客: 《使用cudnn5编译py-faster-rcnn错误:cudnn.hpp(126): error: argument of type “int” is incompatible …》

由此可以得出结论: cuDNN4与GTX1060显卡之间存在兼容性问题,升级之后的cuDNN5就没这问题了,所以如果你遇到类似的问题不妨换个cuDNN版本试试。 唉,NVIDIA的产品兼容性实在是成问题啊,如果不是因为我有两台电脑而且显卡型号不同,可以有对比,我实在不知道该怎么从哪方面找原因。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

用神经网络对页面登录进行多参数优化的小妙招

我很乐意分享我用神经网络对页面登录进行多参数优化的一些实验。我想到这个点子已经有半年了,而且我发现从自动操作这个角度来看它十分有趣。A/B 测试会消耗市场专家...

532
来自专栏阮一峰的网络日志

理解Linux系统负荷

一、查看系统负荷 如果你的电脑很慢,你或许想查看一下,它的工作量是否太大了。 在Linux系统中,我们一般使用uptime命令查看(w命令和top命令也行)。(...

3134
来自专栏程序员的知识天地

Python那么火,到底能用来做什么?

像Django和Flask这样基于Python的Web框架最近在web开发中变得非常流行。

381
来自专栏AI科技大本营的专栏

用好这几款炼丹利器,调参从此得心应手

来源:PaperWeekly ▌01. Live CV 实现显示结果的CV开发环境 Live CV 是一个用于实现显示结果的计算机视觉算法开发环境,基于 Qt...

4266
来自专栏机器学习算法与Python学习

254页教程《Writing Code for NLP Research》

EMNLP2018 254 页的《为NLP研究写出好代码》(Writing Code for NLP Research)的教程会给出答案。

582
来自专栏新智元

苹果发布: Core ML 几行代码构建智能APP(SDK下载)

【新智元导读】昨天在 WWDC 高调发布 Core ML 机器学习库后,苹果官方博客今天发布了包含 iOS 11 SDK的beta版Xcode 9,以及 iOS...

4548
来自专栏desperate633

TCP/IP之路由算法路由算法的分类链路状态路由算法距离向量(Distance Vector)路由算法层次路由例: 路由器1d的转发表设置

网络层的重要功能就是路由和转发。而路由是根据路由器根据所维护的路由表进行路由选择。所以,如果创建和更新转发表就是一个很重要的问题。通常,在路由时,我们总是选取所...

791
来自专栏机器之心

资源 | 一张速查表实现Apache MXNet深度学习框架五大特征的开发利用

选自AWS blog 机器之心编译 参与:Smith Apache MXNet 是一个功能全面,且具有高度可扩展性的深度学习框架,可支持创建和训练最新型的深度学...

2766
来自专栏瓜大三哥

乒乓结构和流水线设计

乒乓结构 ? l 通过“输入数据选择单元”和“输出数据选择单元”按节拍、相互配合的切换,将经过缓冲的数据流没有停顿地送到“数据流运算处理模块”进行运算与处...

2216
来自专栏PPV课数据科学社区

【V课堂】数据挖掘知识脉络与资源整理(三)—SAS

简介: SAS(全称STATISTICAL ANALYSIS SYSTEM,简称SAS)是全球最大的软件公司之一,是由美国NORTH CAROLINA州立大学...

2336

扫码关注云+社区