Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >caffe的demo测试

caffe的demo测试

作者头像
foochane
发布于 2019-05-23 06:47:22
发布于 2019-05-23 06:47:22
83800
代码可运行
举报
文章被收录于专栏:foochanefoochane
运行总次数:0
代码可运行

当运行 demo.py 有如上输出时, 说明我们已经可以通过之前别人训练好的模型进行测试, 下面我们将自己动手训练一个模型。该模型数据采用 voc2007 数据。训练时采用 ZF 模型。

1 训练模型需要修改的部分:

data —> 存放数据,以及读取文件的 cache models —> 三种模型, ZF(S)/VGG1024(M)/VGG16(L) lib —> python 接口

2 下载训练、测试数据集并解压

$ wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar $ wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar $ wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCdevkit_08-Jun-2007.tar

建议在 Windows 上下载,将数据放到~/ work 目录下并解压。

$ tar xvf VOCtrainval_06-Nov-2007.tar $ tar xvf VOCtest_06-Nov-2007.tar $ tar xvf VOCdevkit_08-Jun-2007.tar

3 建议给 voc2007 建立一个供 faster-rcnn 使用的软连接。

这样当你建立其他工程需要使用 voc2007 数据时,同样只需要建立一个软连接即可。

$ cd ~/work $ cp -r ~/software/caffe/py-faster-rcnn/ ./ $ ln -s VOCdevkit py-faster-rcnn/data/VOCdevkit2007 :

4 修改相应代码

在训练之前,由于 ubuntu16.04 安装的 numpy 是 1.13.0 版本,而 py-faster-rcnn 代码使用的 numpy1.11.0,因此还需要修改相应代码,如下:

$ vim ~/work/py-faster-rcnn/lib/roi_data_layer/minibatch.py

修改第 55 行为:

for im_i in xrange(num_images): labels, overlaps, im_rois, bbox_targets, bbox_inside_weights = _sample_rois(roidb[im_i], int(fg_rois_per_image), int(rois_per_image),int(num_classes)) int(num_classes))

修改第 98 行为:

if fg_inds.size > 0: fg_inds = npr.choice( fg_inds, size=int(fg_rois_per_this_image), replace=False)

修改第 110 行为:

if bg_inds.size > 0: bg_inds = npr.choice( bg_inds, size=int(bg_rois_per_this_image), replace=False)

修改第 124 行为:

bbox_targets, bbox_inside_weights = _get_bbox_regression_labels( roidb['bbox_targets'][keep_inds, :], int(num_classes))

添加如下代码 175 行后:

start = int(start) end = int (end)

这样不会有如下错误出现:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
"TypeError: 'numpy.float64' object cannot be interpreted as an index"

5 开始训练

$ cd py-faster-rcnn $ ./experiments/scripts/faster_rcnn_alt_opt.sh 0 ZF pascal_voc

出现错误:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
ImportError: No module named _caffe

解决:重新编译一下pycaffe

出现错误:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from google.protobuf.internal import enum_type_wrapper
ImportError: No module named google.protobuf.internal

$ sudo pip install protobuf

还是同样的错误 切换root用户再执行,错误消失,又出新的错误:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
File "__init__.pxd", line 989, in numpy.import_array
ImportError: numpy.core.multiarray failed to import

解决:

$ sudo pip install -U numpy

问题:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
AssertionError: Path does not exist: /home/fc/py-faster-rcnn/data/VOCdevkit2007/VOC2007/ImageSets/Main/trainval.txt

解决 :

检查链接VOCdevkit2007并无问题,而且trainal.txt也存在。 最好直接删除VOCdevkit2007链接,把~/work下的VOCdevkit目录直接拷贝到py-faster-rcnn/data/下并更名为VOCdevkit2007

问题:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
I0106 13:49:59.310015 19446 layer_factory.hpp:77] Creating layer input-data
Traceback (most recent call last):
  File "/home/fc/py-faster-rcnn/tools/../lib/roi_data_layer/layer.py", line 15, in <module>
    from roi_data_layer.minibatch import get_minibatch
  File "/home/fc/py-faster-rcnn/tools/../lib/roi_data_layer/minibatch.py", line 53
    labels, overlaps, im_rois, bbox_targets, bbox_inside_weights \
         ^
IndentationError: expected an indented block

解决:是python的缩进问题layerminibatch.py地53行往后缩进4个空格

$ vim ~/py-faster-rcnn/lib/roi_data_layerminibatch.py +53

问题:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
SystemError: NULL result without error in PyObject_Call

解决:

$ sudo apt-get install python-yaml

问题:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
F0106 14:03:13.176914 19648 io.cpp:54] Check failed: fd != -1 (-1 vs. -1) File not found: data/imagenet_models/ZF.v2.caffemodel
*** Check failure stack trace: ***

解决:

指明使用第一块 GPU(0),模型是 ZF,训练数据是 pascal_voc(voc2007),没问题的话应该可以迭代训练了。如果你之前有训练过,那需要把 py-faster-rcnn/data/cache/目录下的.pkl 删除或者备份。

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018.01.05 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
目标检测 - Faster R-CNN 训练过程源码理解
得到的 imdb = pascal_voc(‘trainval’, ‘2007’) 记录的内容如下:
AIHGF
2019/02/18
1.1K0
使用Faster-Rcnn进行目标检测(实践篇)
本文介绍了如何基于PyTorch实现自定义数据集,并使用该数据集进行Faster R-CNN目标检测。主要包括四个步骤:数据集制作、模型训练、模型验证和测试。在模型训练阶段,使用自定义数据集和预训练的VGG16模型进行训练,并采用随机数据增强和叠加训练方法。在模型验证和测试阶段,使用自定义数据集对Faster R-CNN模型进行微调,并使用测试集对模型进行测试。实验结果表明,该方法能够有效提高目标检测的准确率。
GavinZhou
2018/01/02
2.5K0
使用Faster-Rcnn进行目标检测(实践篇)
Caffe2 - (三十二) Detectron 之 roi_data - 模型 minibatch blobs
Caffe2 - (三十二) Detectron 之 roi_data - 模型 minibatch blobs 根据对应的 roi_data 模块可以处理 对应模型的 minibatch blobs. fast_rcnn.py mask_rcnn.py keypoint_rcnn.py rpn.py retinanet.py 1. fast_rcnn.py 构建用于 Fast R-CNN 训练的 minibatches. """ 处理 Fast R-CNN 所涉及的 minibatch blobs. ""
AIHGF
2018/05/17
1.2K0
【技术综述】万字长文详解Faster RCNN源代码
作为深度学习算法工程师,如果你想提升C++水平,就去研究caffe源代码,如果你想提升python水平,就去研究faster-rcnn源代码吧,caffe源代码我们已经解读过了,今天这一期就解读faster-rcnn源代码
用户1508658
2019/07/26
2.4K0
【技术综述】万字长文详解Faster RCNN源代码
RPN网络代码解读
在目标检测领域Faster RCNN可以说是无人不知无人不晓,它里面有一个网络结构RPN(Region Proposal Network)用于在特征图上产生候选预测区域。但是呢,这个网络结构具体是怎么工作的呢?网上有很多种解释,但是都是云里雾里的,还是直接撸代码来得直接,这里就直接从代码入手直接撸吧-_-||。 首先,来看一下Faster RCNN中RPN的结构是什么样子的吧。可以看到RPN直接通过一个卷积层rpn_conv/3×3直接接在了分类网络的特征层输出上面,之后接上两个卷积层rpn_clc_score与rpn_bbox_pred分别用于产生前景背景分类与预测框。之后再由python层AnchorTargetLayer产生anchor机制的分类与预测框。然后,经过ROI Proposal产生ROI区域的候选,并通过ROI Pooling规范到相同的尺寸上进行后续处理。大体的结构如下图所示:
全栈程序员站长
2022/09/10
1.7K0
RPN网络代码解读
faster-rcnn在编译时遇到的一些问题
 1.在安装faster-rcnn事如果报这种错误    In file included from ./include/caffe/util/device_alternate.hpp:40:0, from ./include/caffe/common.hpp:19, from ./include/caffe/blob.hpp:8, from ./include/caffe/net.hpp:10,
Gxjun
2018/03/27
1.3K0
faster-rcnn在编译时遇到的一些问题
Caffe2 - (二十六) Detectron 之定制 Python Operators(ops)
Caffe2 - (二十六) Detectron 之定制 Python Operators(ops) Detectron 基于 Caffe2,添加了三个自定义的网络层(Python Ops). collect_and_distribute_fpn_rpn_proposals.py generate_proposal_labels.py generate_proposals.py 1. collect_and_distribute_fpn_rpn_proposals.py """ 网络层作用: - 将
AIHGF
2018/05/17
1.5K0
RPN网络
1、先通过conv层+pooling层+relu层,可以是vgg,得到feature maps。
全栈程序员站长
2022/09/10
8570
RPN网络
OHEM代码梳理[通俗易懂]
有关OHEM的介绍请参考上面给出的链接,这里主要就OHEM是怎么运行的做一些简单的分析,整个OHEM的代码也不是很多,这里将算法的步骤归纳为: 1)计算检测器的损失,这部分是使用和最后fc6、fc7预测头一样的共享参数,预测分类与边界框回归的结果,将预测的结果与GT进行比较得到分类和边界框回归的loss,这里的损失是将两种损失相加得到的; 2)使用阈值为0.7的NMS预先处理一遍检测框,去除一些无效的检测框; 3)NMS之后的检测框按照loss由大到小排列,选取一定数目(由两个数取最小决定)的边界框返回。 下面是OHEM在网络定义文件中的定义,方便后面查看相关代码的时候查找对应条目。
全栈程序员站长
2022/09/02
3790
OHEM 代码详解「建议收藏」
特征从relu5_3出来后分成2两路,一路是roi_pooling5_readonly,另外一路是roi_pooling5. 其中roi_pooling5_readonly 只进行前向传播和计算损失,并不反向传播梯度(在prototxt 中 propagate_down: false 也可以看得出来). 比较两路的prototxt, 可以看到fc6,fc7,cls_score, bbox_pred 中指定了相同的参数名,如:
全栈程序员站长
2022/09/02
4550
OHEM 代码详解「建议收藏」
深度学习Pytorch检测实战 - Notes - 第4章 两阶经典检测器:Faster RCNN
RCNN全称为Regions with CNN Features,是将深度学习应用到物体检测领域的经典之作,并凭借卷积网络出色的特征提取能力,大幅度提升了物体检测的效果。而随后基于RCNN的Fast RCNN及Faster RCNN将物体检测问题进一步优化,在实现方式、速度、精度上均有了大幅度提升。
肉松
2020/07/27
1.1K0
深度学习Pytorch检测实战 - Notes - 第4章 两阶经典检测器:Faster RCNN
检测模型改进—OHEM与Focal-Loss算法总结[通俗易懂]
论文名称:Training Region-based Object Detectors with Online Hard Example Mining 代码地址:OHEM OHEM(online hard example miniing)算法的核心思想是: 根据输入样本的损失进行筛选,筛选出hard example,表示对分类和检测影响较大的样本,然后将筛选得到的这些样本应用在随机梯度下降中训练。
全栈程序员站长
2022/08/23
2.3K0
检测模型改进—OHEM与Focal-Loss算法总结[通俗易懂]
深度学习: Faster R-CNN 网络
网络结构有两种,一种是将ZFNet(扔掉了尾端的全连接层)拿来用,另一种则是将VGG拿来用(扔掉了尾端的全连接层)。论文中给出的是第一种(绿框内为拿来用的那部分):
JNingWei
2018/09/27
2.5K0
深度学习: Faster R-CNN 网络
端午节也不忘分享目标检测实战!
今天是中国传统节日——端午节!在此,祝大家节日快乐! 关注并星标 从此不迷路 计算机视觉研究院 公众号ID|ComputerVisionGzq 学习群|扫码在主页获取加入方式 计算机视觉研究院专栏 作者:Edison_G 最近总是有很多入门的朋友问我们,进入计算机视觉这个领域难不难?是不是要学习很多知识?到底哪个方向比较好? 对于这些问题其实我们也不好回答他们,只能衷心告诉他们,如果你对这领域特别感兴趣,那你可以进来试试玩玩,如果试过了玩过了,觉得这不是你喜欢的领域,那你可以立马退出,选择你喜欢的
计算机视觉研究院
2022/06/06
3680
端午节也不忘分享目标检测实战!
里程碑式成果Faster RCNN复现难?我们试了一下 | 附完整代码
【导读】2019年以来,除各AI 大厂私有网络范围外,MaskRCNN,CascadeRCNN 成为了支撑很多业务得以开展的基础,而以 Faster RCNN 为基础去复现其他的检测网络既省时又省力,也算得上是里程碑性成果了。因此本文主要以简洁易懂的文字复现了 Resnet - Faster R-CNN 。
AI科技大本营
2019/08/23
2.2K0
里程碑式成果Faster RCNN复现难?我们试了一下 | 附完整代码
mmdetection之Faster RCNN注释详解
本文记录 mmdetection 对 Faster RCNN 训练的流程,包括标签获取,anchor 生成,前向训练,以及各步骤中 tensor 的形状,仅供复习用处。mmdetection 版本为 2.11.0。
棒棒鸡不棒
2022/09/02
2.1K0
Faster RCNN系列介绍
RCNN网络是Ross B. Girshick大神2014年提出的,是第一个基于深度学习的目标检测算法,是基于深度特征的。它跟传统的目标识别不同的就是使用深度学习的特征代替了传统的基于低层次的颜色、纹理的特征提取。
算法之名
2022/03/24
1.1K0
Faster RCNN系列介绍
[Tensorflow] Faster R-CNN 和自定义 VOC 数据集
看了pascal_voc.py代码,可以把代码的jpg拼接改成png,这样可以不做上一步.
wOw
2018/09/18
3.1K4
《我的PaddlePaddle学习之路》笔记九——使用VOC数据集的实现目标检测
目标检测的使用范围很广,比如我们使用相机拍照时,要正确检测人脸的位置,从而做进一步处理,比如美颜等等。在目标检测的深度学习领域上,从2014年到2016年,先后出现了R-CNN,Fast R-CNN, Faster R-CNN, ION, HyperNet, SDP-CRC, YOLO,G-CNN, SSD等神经网络模型,使得目标检测不管是在准确度上,还是速度上都有很大提高,几乎可以达到实时检测。
夜雨飘零
2020/05/06
1.2K0
《我的PaddlePaddle学习之路》笔记九——使用VOC数据集的实现目标检测
实战 | 源码入门之Faster RCNN
从train.py中的主要函数可以看出,主要的步骤涉及训练数据和测试数据的预处理,网络模型的构建(Faster RCNN),然后就是迭代训练,这也是通用的神经网络搭建和训练的过程。在Faster Rcnn网络模型中主要包含Extractor、RPN和RoIhead三部分。网络中Extractor主要是利用CNN进行特征提取,网络采用的VGG16;RPN是候选区网络,为RoIHead模块提供可能存在目标的候选区域(rois);RoIHead主要负责rois的分类和微调。整体的框架图如下图所示:
用户1150922
2019/05/27
1.2K0
相关推荐
目标检测 - Faster R-CNN 训练过程源码理解
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验