cuDNN兼容性问题造成的caffe/mnist,py-faster-rcnn/demo运行结果错误

问题描述

我有两台电脑,一台笔记本GTX965M显卡,台式机是GTX1060显卡 两台电脑上的软件环境都一样:ubuntu16+cuda8.0+cuDNN4,显卡驱动nvidia-378 在笔记本上运行Caffe带的MNIST手写体识别训练,和py-faster-rcnn的目标检测演示程序(demo.py)很正常(GPU,CPU模式都正常), 在台式机上运算,CPU模式正常,但是GPU模式下结果居然不对了:

以下是MNIST训练的运算结果

I0316 12:42:03.299001 12558 solver.cpp:454] Snapshotting to binary proto file examples/mnist/lenet_iter_10000.caffemodel I0316 12:42:03.303056 12558 sgd_solver.cpp:273] Snapshotting solver state to binary proto file examples/mnist/lenet_iter_10000.solverstate I0316 12:42:03.305409 12558 solver.cpp:317] Iteration 10000, loss = 2.29934 I0316 12:42:03.305425 12558 solver.cpp:337] Iteration 10000, Testing net (#0) I0316 12:42:03.350900 12558 solver.cpp:404] Test net output #0: accuracy = 0.1135 I0316 12:42:03.350924 12558 solver.cpp:404] Test net output #1: loss = 2.3011 (* 1 = 2.3011 loss) I0316 12:42:03.350927 12558 solver.cpp:322] Optimization Done. I0316 12:42:03.350930 12558 caffe.cpp:254] Optimization Done.

正常情况下10000次迭代后的精度应该是0.99左右,但现在居然是 0.1135 ! 对于10个数字而言这基本上就是瞎猜的精度啊。

运算py-faster-rcnn的demo程序如下,

Loaded network /home/guyadong/tmp/py-faster-rcnn/data/faster_rcnn_models/VGG16_faster_rcnn_final.caffemodel ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Demo for data/demo/000456.jpg Detection took 0.084s for 300 object proposals ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Demo for data/demo/000542.jpg Detection took 0.081s for 259 object proposals ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Demo for data/demo/001150.jpg Detection took 0.067s for 223 object proposals ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Demo for data/demo/001763.jpg Detection took 0.066s for 201 object proposals ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ Demo for data/demo/004545.jpg Detection took 0.066s for 172 object proposals

正常情况下,最后应该显示画了目标标注矩形框的图像,然鹅现在没有任何结果图像显示。。。而且每个检测执行时间都在几十毫秒级别,太快了,相当于没执行。

解决方案

在台式机上折腾多次找不到原因,我又回到笔记本上准备再验证一下,发现我在笔记本上曾经用cuDNN5.1编译过caffe,回想起最初我是用cuDNN5.1的,而且也运行过MNIST训练,而且CPU和GPU模式运行结果都是正常的。 于是将台式机上换成了cuDNN5.1版本。 重新编译Caffe后,再执行MNIST训练,正常! 重新编译py-faster-rcnn/caffe-fast-rcnn后,demo.py,正常!

换成cuDNN5.1后编译py-faster-rcnn/caffe-fast-rcnn时,会有编译错误, 解决方法参见我的上一篇博客: 《使用cudnn5编译py-faster-rcnn错误:cudnn.hpp(126): error: argument of type “int” is incompatible …》

由此可以得出结论: cuDNN4与GTX1060显卡之间存在兼容性问题,升级之后的cuDNN5就没这问题了,所以如果你遇到类似的问题不妨换个cuDNN版本试试。 唉,NVIDIA的产品兼容性实在是成问题啊,如果不是因为我有两台电脑而且显卡型号不同,可以有对比,我实在不知道该怎么从哪方面找原因。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏利炳根的专栏

学习笔记TF066 : TensorFlow 移动端应用,iOS、Android系统实践

移动端应用原理。移动端、嵌入式设备应用深度学习方式,一模型运行在云端服务器,向服务器发送请求,接收服务器响应;二在本地运行模型,PC训练模型,放到移动端预测。向...

6370
来自专栏机器之心

圣诞快乐——Keras+树莓派:用深度学习识别圣诞老人

3568
来自专栏人工智能LeadAI

pytorch入门教程 | 第四章:准备图片数据集

在训练神经网络之前,我们必须有数据,作为资深伸手党,必须知道以下几个数据提供源: 1 CIFAR-10 ? CIFAR-10图片样本截图 CIFAR-10是多...

6498
来自专栏AILearning

图像识别

我们的大脑使视觉看起来很容易。人类不会分解一只狮子和一只美洲虎,看一个标志,或认出一个人的脸。但这些实际上是用计算机解决的难题:他们看起来很容易,因为我们的大...

6908
来自专栏AI研习社

Github 代码实践:Pytorch 实现的语义分割器

使用Detectron预训练权重输出 *e2e_mask_rcnn-R-101-FPN_2x* 的示例

1032
来自专栏PaddlePaddle

【场景文字识别】场景文字识别

1. STR任务简介 许多场景图像中包含着丰富的文本信息,对理解图像信息有着重要作用,能够极大地帮助人们认知和理解场景图像的内容。场景文字识别是在图像背景复杂、...

3117
来自专栏ATYUN订阅号

TensorFlow:使用Cloud TPU在30分钟内训练出实时移动对象检测器

是否能够更快地训练和提供对象检测模型?我们已经听到了这种的反馈,在今天我们很高兴地宣布支持训练Cloud TPU上的对象检测模型,模型量化以及并添加了包括Ret...

1215
来自专栏机器之心

开源 | 浏览器上最快的DNN执行框架WebDNN:从基本特性到性能测评

选自Github 机器之心编译 参与:蒋思源、晏奇 WebDNN 是网页浏览器中最快的 DNN 执行框架,而本文首先简单介绍了 WebDNN 特征与其框架结构...

2626
来自专栏ATYUN订阅号

构建自定义人脸识别数据集的三种训练方法

在接下来的几篇文章中,我们将训练计算机视觉+深度学习模型来进行面部识别。在此之前,我们首先需要收集脸部数据集。

1123
来自专栏AI研习社

Github 项目推荐 | 由文本生成人脸图像 —— T2F

T2F 结合了最近的两个架构 StackGAN 和 ProGAN,用于从文本描述中合成面部,该项目使用 Face2Text 数据集,每个数据集包含 400 个图...

872

扫码关注云+社区