caffe introduction & classification

caffe 介绍

caffe是Berkely的深度学习框架,在流行的deep learning framework里属于使用人数很多的,github上的统计显示经常是使用量第一的 这里是官方地址,上面有介绍和安装的指南

caffe的优点

Expression: models + optimizations are plaintext schemas, not code.

Speed: for state-of-the-art models and massive data.

Modularity: to extend to new tasks and architectures.

Openness: common code and reference models for reproducibility.

Community: joint discussion, development, and modeling.

caffe结构

Layer interface + Net + Solver

caffe中的layer图示,以AlexNet的网络结构示例: 主要有:

  • convolution layer
  • pooling layer
  • full-connected layer

layer与layer之间单向流动,构成网络,同一个layer中的hidden unit不相连 caffe中同样内置了很多的经典网络,比如Alexnet,Lenet,Caffenet等

solver定义了网络的优化参数

caffe和GPU

caffe可以利用cudacudnn来使用GPU来进行运算 NVIDIA DIGITS则是一个网络服务器,它提供了一个方便的网络接口,用于训练和测试基于caffe的深度神经网络,提供了网页的形式来进行数据的处理,DNN的配置,进度监控和可视化 官方网址:HERE

使用caffe+digits,配合GPU(cuda+cudnn),可以说很爽!!!! 大家可以参考下这篇博客,具体的大家自己试试吧

使用GPU之后一个典型的caffe的程序结构,可能是这样的:

Caffe的python接口

主要有以下几个接口:

具体的像image load,image preprocess,image prediction,如下:

具体示例

说了上面这么多,恐怕很多人还是云里雾里的,我就结合一个具体的示例来说说如何进行image 的classification

假设: 1. 你已经把你的数据训练好了 2. 获得了你的caffe model 3. 保留了你的网络结构

现在就是来了一堆新图,在某个目录下,你要做的就是进行这些图像的classification,如何做???

示例:

# -*- coding: utf-8 -*-
#!/usr/bin/env python

import PIL
import Image
import sys
import time
import os
import numpy as np
from matplotlib import pyplot as plt 

start = time.time()

# 将caffe模块加入到你的python路径中,不然会报caffe module not found的错误
caffe_root = '/home/gavinzhou/caffe-master/'  
sys.path.insert(0, caffe_root + 'python')

# 包含测试image的文件夹
test_dir='/path/to/your/recognition/directory'

# classification的结果文件
answer = '/path/to/save/your/result/file/(txt csv 等都可以)'

# 网络结构文件
netProPath = 'path/to/your/net/.prototxt'

# 训练好的模型(caffe model)的路径
modelPath = '/path/to/your/caffe model/.caffemodel'

# Trained size
trainedSize  = 28

# Label path
sysTXTPath = '/path/to/your/synset_words.txt'

import caffe

# Set Caffe to CPU mode, load the net in the test phase for inference, and configure input preprocessing

caffe.set_mode_cpu()
net = caffe.Net(caffe_root + netProPath, caffe_root + modelPath, caffe.TEST)

# preprocessing
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
transformer.set_transpose('data', (2,0,1))

# mean pixel file
transformer.set_mean('data', np.load(caffe_root + '/path/to/you/mean.npy').mean(1).mean(1)) 

# the reference model operates on images in [0,255] range instead of [0,1]
transformer.set_raw_scale('data', 255)  

# the reference model has channels in BGR order instead of RGB
transformer.set_channel_swap('data', (2,1,0))  

net.blobs['data'].reshape(1,3,trainedSize,trainedSize)

# 写入结果文件
output=open(answer, 'w')

# Load labels file
imagenet_labels_filename = caffe_root + sysTXTPath
labels = np.loadtxt(imagenet_labels_filename, str, delimiter= ':')

# 循环迭代进行每个图片的classification
for root,dirs,files in os.walk(test_dir):
    for i in xrange (0,files.__len__()):
        sf=os.path.join(root,files[i])
        output.write(((files[i]).split('.'))[0]+':')
        net.blobs['data'].data[...] = transformer.preprocess('data', caffe.io.load_image(sf))
        out = net.forward()
        # 这个是当前识别的图像的类别索引,需要到你自己定义的synsets_words中查找对应的类别名称
        index = out['prob'].argmax() 
        output.write((labels[index][1]) + '\n')
        output.close()

end = time.time()
print 'All time used: '+ str(end-start) + ' seconds' 

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏kangvcar

[face_recognition中文文档] 第7节 历史

944

Weka机器学习平台的迷你课程

机器学习是个非常吸引人的研究领域,但是您怎么把它真正地应用到您自己的问题上呢?

2356
来自专栏人工智能LeadAI

使用Python+Tensorflow的CNN技术快速识别验证码

近年来,机器学习变得愈加火热,中国选手柯洁与AlphaGo的人机大战更是引起热议。目前,在图像识别和视觉分析研究中,卷积神经网络(CNN)技术的使用越来越多。T...

5596
来自专栏大数据智能实战

LargeVis可视化技术学习

大图可视化一直是大数据可视化领域的一个关键技术,当前有各种办法,但是今年出来了一个LargeVis的技术,因此对这个技术进行复现和学习一下。 前面有很多基础理论...

2747
来自专栏专知

【干货】快速上手图像识别:用TensorFlow API实现图像分类实例

【导读】1月17日,Arduino社区的编辑SAGAR SHARMA发布一篇基于TensorFlow API的图像识别实例教程。作者通过TensorFlow A...

4937
来自专栏Jack-Cui

Caffe学习笔记(五):使用pycaffe生成solver.prototxt文件并进行训练

Python版本: Python2.7 运行平台: Ubuntu14.04     上几篇笔记记录了如何将图片数据转换成db(leveldb/lmdb)文件,...

2880
来自专栏计算机视觉战队

实战——目标检测与识别

最近总是有很多入门的朋友问我,我进入计算机视觉这个领域难不难?是不是要学习很多知识?到底哪个方向比较好?。。。。。这些问题其实我也不好回答他们,只能衷心告诉他...

2715
来自专栏ATYUN订阅号

使用Tensorflow对象检测在安卓手机上“寻找”皮卡丘

在TensorFlow的许多功能和工具中,隐藏着一个名为TensorFlow对象探测API(TensorFlow Object Detection API)的组...

4095
来自专栏机器学习算法全栈工程师

应用TF-Slim快速实现迁移学习

作者:张旭 编辑:张欢 这是一篇以实践为主的入门文章,目的在于用尽量少的成本组织起来一套可以训练和测试自己的分类任务的代码,其中就会用到迁移学习,TF-Sli...

4466
来自专栏AI科技大本营的专栏

Hinton胶囊理论代码开源,上线即受热捧

当前的深度学习理论是由Geoffrey Hinton大神在2007年确立起来的,但是如今他却认为,“CNN的特征提取层与次抽样层交叉存取,将相同类型的相邻特征检...

2689

扫码关注云+社区