caffe随记(七)---训练和测试自己的图片

前面也介绍了tools工具,今天来试着自己跑一下图像分类的实例

1、下载数据

我没有用imagenet的数据,因为太大了不想下,而且反正也只是当作例程跑一下而已,所以我用的是另一位博主分享的网盘上的数据,共有500张图片,分为大巴车、恐龙、大象、鲜花和马五个类,每个类100张。需要的同学,可到网盘下载:http://pan.baidu.com/s/1nuqlTnN

然后顺便帖一发这个博主的那页博客以示尊重版权:

http://www.cnblogs.com/denny402/p/5083300.html,

他那个网盘里的数据似乎重复了以便,其实里面的那个re文件夹内容是一样的,删掉就可以,所以就是re里面的train和test文件夹留着用就行。

然后我把这个图像数据放在了caffe/data/mytest 文件夹中,至于怎么拷过去,无非就是用linux的cp或者scp,命令了,百度之。

如图所示

2、转换图像格式

我在caffe/examples/中新建了一个文件夹mytest,mkdir  examples/myfile,文件夹用来存放配置和脚本文件。

那么现在开始来创建一个脚本,生成图像文件名的脚本清单txt

vim examples/mytest/create_filelist.sh

#!/usr/bin/env sh
DATA=./data/mytest
MYTEST=./examples/mytest

echo "create train.txt ..."
rm -rf $MYTEST/train.txt
for i in 3 4 5 6 7
do
find $DATA/train -name $i*.jpg | cut -d '/' -f4-5 |sed "s/$/ $i/">>$MYTEST/train.txt
done
echo "create test.txt..."
rm -rf $MYTEST/test.txt
for i in 3 4 5 6 7
do
find $DATA/test -name $i*.jpg | cut -d '/' -f4-5 | sed "s/$/ $i/">>$MYTEST/test.txt
done
echo "All done"

之后在当前文件夹下执行如下命令:

chmod u+x create_filelist.sh

这个其实就是改一下权限什么的,使得在caffe根目录能够执行

然后回到caffe 根目录执行:

./build/examples/mytest/create_filelist.sh

如果之前那个脚本没有出现什么问题,就会成功得到两个txt文件,打开看一下,我截取了部分内容如下:

然后就又编写一个脚本文件vimcreate_lmdb.sh  来调用tools中的工具进行转换:

#!/usr/bin/env sh
MYTEST=examples/mytest

echo "create train lmdb..."
rm -rf $MYTEST/my_train_lmdb
build/tools/convert_imageset \
-shuffle \
-resize_height=256 \
-resize_width=256 \
/home/Teeyo/caffe/data/mytest/ \
$MYTEST/train.txt \
$MYTEST/my_train_lmdb
echo "train done"

echo "create test lmdb..."
rm -rf $MYTEST/my_test_lmdb
build/tools/convert_imageset \
-shuffle \
-resize_height=256 \
-resize_width=256 \
/home/Teeyo/caffe/data/mytest/ \
$MYTEST/test.txt \
$MYTEST/my_test_lmdb

echo "All done."

然后同样来一下chmod  u+x create_lmdb.sh使得在caffe目录下能直接调用

在caffe根目录下执行:

./build/examples/mytest/create_lmdb.sh

如果脚本没有问题的话,显示如下内容

成功转换

看一下我们的mytest文件夹

那个.binaryproto 的文件本来是没有的,因为我写博文的时候已经执行了下面一个步骤所以才有的。

3、计算均值并保存

这个工具在上一篇博文我也讲过了,直接来用吧

然后就会顺利得到我上幅图中所说的train_mean.binaryproto

4、模型和配置文件

模型我们就用caffenet,这个模型的描述是在caffe/models目录下:

就是第三个文件夹bvlc_reference_caffenet,来进去看一下有什么东西

注:本来是没有第一个文件*.caffemodel的,那是我自己下载的model文件

vim打开 readme.md,如下所示:

这里面主要就是提供了caffemodel下载链接:

caffemodel_url: http://dl.caffe.berkeleyvision.org/bvlc_reference_caffenet.caffemodel

然后简述了一下caffenet,这个caffenet其实就是由Alnexnet做了一点小小改动得来,

这几个改动的细节在里面详细描述了,这里我就略过了,各位自行阅读

主要是把我需要的solver.prototxt 和train_val.prototxt复制到我的mytest文件夹中去,

cp models/bvlc_reference_caffenet/solver.prototxt   examples/mytest/

cp models/bvlc_reference_caffenet/train_val.prototxt   examples/mytest/

然后到我的mytest文件夹中去修改,不要把别人model里的修改了哦。

net: "examples/mytest/train_val.prototxt"  //模型网络改了
test_iter: 5                               //test迭代次数改了
test_interval: 20                          //迭代间隔改了
base_lr: 0.001                               
lr_policy: "step"
gamma: 0.1
stepsize: 100
display: 10
max_iter: 600                             //最大迭代次数改了
momentum: 0.9
weight_decay: 0.005
solver_mode: GPU

总之做了一些改动

再修改train_val.prototxt 这里主要修改两个datalayer 中的meanfile和source两个路径

以及train和test的两个batch_size!!!

-----------------------------------------------------------------------------------------------------这些参数的详细解读------------------------------------------------------------------------------------------------------

之前我本来按照提供数据的那个博主的博文来设置的参数。

他的train的batch_size是256,然后我第一次跑的时候就提示了out of memory!

这一般就是batch_size设置大了的问题,跟GPU的性能已经是否在同时跑其他的程序有关,

我那个时候服务器还有别人在跑另一个很大的例程,所以就只能把batch_size调小一些了、

我的train net的batch_size = 25,考虑到我这里一共有500个train数据,所以我就把solver 中的 test_interval 设置为20

这样就刚好能跑完20*25=500张train图片,这样就称为1个epoch

然后我的test net 是 batch_size = 20,考虑到我这里一共有100个test数据,所以把solver 中的test_iter设置为 5

这样5*20=100张train图片,这样我在1个epoch之内也刚好覆盖完了所有的test数据

我的max_iter = 500,这样就一共经过了 500÷20 =25个epoch

这个max_iter 其实是一个需要自己试的参数,过大或者过小都不好,

这个例子中你可以设置为400或者600分别对应20或者30个epoch。区别不是特别大

5、训练和测试

最后一步就只有一个命令,也是我在之前讲过的caffe.bin工具

./build/tools/caffe train --solver=examples/mytest/solver.prototxt

然后就开始训练和测试了

先把solver中的配置打印出来

然后就是打印train网络和test网络,这个我就不往外贴了,太长了

然后贴一下迭代过程:

可以看到,每隔10次Iteration它打印一次,因为我的solver中的display参数设置的是10

然后只要是20的倍数就会多上几行,仔细看是Test net的输出,会输出 accuracy,因为我的test_interval=20,就是每20次train迭代就要进行test

最后500次之后结束

得到caffemodel和sovlerstate

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏生信技能树

我的第一次ChIP-seq实践

1. 软件安装 整个过程基本是从零开始,也就是说服务器没有安装任何所需软件。因为我平时会用到Python,所以第一步安装的是Anaconda,版本是Anacon...

3437
来自专栏机器之心

资源 | MIT开放图像标注工具LabelMe源代码:助力机器视觉的发展

4609
来自专栏张戈的专栏

[不定期更新]简单的shell脚本练习实例

此文将整理一些简单实用、有趣易学的 shell 练习脚本,希望可以帮到一些想学习 shell 的初学者。张戈也会在闲暇时间不定期更新此文,对已有实例进行改进和注...

3663
来自专栏iOSDevLog

Google Colab免费GPU教程

现在,你可以开发深度学习与应用谷歌Colaboratory -on的免费特斯拉K80 GPU -使用Keras,Tensorflow和PyTorch。

1965
来自专栏漏斗社区

安全运维中基线检查的自动化

安全运维工作中经常需要进行安全基线配置和检查,所谓的安全基线配置就是系统的最基础的安全配置,类比木桶原理的那块最短的木板,安全基线其实是系统最低安全要求的配置,...

1413
来自专栏机器之心

教程 | 如何使用 Kubernetes 轻松部署深度学习模型

本文展示了如何用 Keras 构建深度学习模型的简单示例,将其作为一个用 Flask 实现的 REST API,并使用 Docker 和 Kubernetes ...

771
来自专栏琦小虾的Binary

交叉编译学习笔记(一)——交叉编译和交叉工具链

交叉编译学习笔记(一)——交叉编译和交叉工具链 最近看论文看的烦,又重新拾起之前没有完全完成的交叉编译,准备在网上找资料,好好研究一下。 参考链接: htt...

3297
来自专栏Jack-Cui

Jetson TX1开发笔记(三):开发利器-Nsight Eclipse Edition

PC平台(Host): 虚拟机Ubuntu14.04 嵌入式平台(Target): Jeston TX1 一、NSight简介     Jetpack开...

2195
来自专栏机器学习算法与Python学习

原创:scikit-learn 在Ubuntu上环境的搭建详解

之前一直想在Ubuntu下搭建一个机器学习的框架,由于忙于各种事情一直拖到先在。终于在上周成功的在Ubuntu下搭建了scikit-learn的学习矿机。 首先...

3105
来自专栏编程

Python文学化编程-Jupyter notebook使用和插件拓展

Jupyter notebook (Ipython notebook)是集代码、结果、文档三位一体的文学化可重复程序文档。支持40多种程序语言,Python为原...

2927

扫码关注云+社区