caffe introduction & classification

caffe 介绍

caffe是Berkely的深度学习框架,在流行的deep learning framework里属于使用人数很多的,github上的统计显示经常是使用量第一的 这里是官方地址,上面有介绍和安装的指南

caffe的优点

Expression: models + optimizations are plaintext schemas, not code.

Speed: for state-of-the-art models and massive data.

Modularity: to extend to new tasks and architectures.

Openness: common code and reference models for reproducibility.

Community: joint discussion, development, and modeling.

caffe结构

Layer interface + Net + Solver

caffe中的layer图示,以AlexNet的网络结构示例: 主要有:

  • convolution layer
  • pooling layer
  • full-connected layer

layer与layer之间单向流动,构成网络,同一个layer中的hidden unit不相连 caffe中同样内置了很多的经典网络,比如Alexnet,Lenet,Caffenet等

solver定义了网络的优化参数

caffe和GPU

caffe可以利用cudacudnn来使用GPU来进行运算 NVIDIA DIGITS则是一个网络服务器,它提供了一个方便的网络接口,用于训练和测试基于caffe的深度神经网络,提供了网页的形式来进行数据的处理,DNN的配置,进度监控和可视化 官方网址:HERE

使用caffe+digits,配合GPU(cuda+cudnn),可以说很爽!!!! 大家可以参考下这篇博客,具体的大家自己试试吧

使用GPU之后一个典型的caffe的程序结构,可能是这样的:

Caffe的python接口

主要有以下几个接口:

具体的像image load,image preprocess,image prediction,如下:

具体示例

说了上面这么多,恐怕很多人还是云里雾里的,我就结合一个具体的示例来说说如何进行image 的classification

假设: 1. 你已经把你的数据训练好了 2. 获得了你的caffe model 3. 保留了你的网络结构

现在就是来了一堆新图,在某个目录下,你要做的就是进行这些图像的classification,如何做???

示例:

# -*- coding: utf-8 -*-
#!/usr/bin/env python

import PIL
import Image
import sys
import time
import os
import numpy as np
from matplotlib import pyplot as plt 

start = time.time()

# 将caffe模块加入到你的python路径中,不然会报caffe module not found的错误
caffe_root = '/home/gavinzhou/caffe-master/'  
sys.path.insert(0, caffe_root + 'python')

# 包含测试image的文件夹
test_dir='/path/to/your/recognition/directory'

# classification的结果文件
answer = '/path/to/save/your/result/file/(txt csv 等都可以)'

# 网络结构文件
netProPath = 'path/to/your/net/.prototxt'

# 训练好的模型(caffe model)的路径
modelPath = '/path/to/your/caffe model/.caffemodel'

# Trained size
trainedSize  = 28

# Label path
sysTXTPath = '/path/to/your/synset_words.txt'

import caffe

# Set Caffe to CPU mode, load the net in the test phase for inference, and configure input preprocessing

caffe.set_mode_cpu()
net = caffe.Net(caffe_root + netProPath, caffe_root + modelPath, caffe.TEST)

# preprocessing
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
transformer.set_transpose('data', (2,0,1))

# mean pixel file
transformer.set_mean('data', np.load(caffe_root + '/path/to/you/mean.npy').mean(1).mean(1)) 

# the reference model operates on images in [0,255] range instead of [0,1]
transformer.set_raw_scale('data', 255)  

# the reference model has channels in BGR order instead of RGB
transformer.set_channel_swap('data', (2,1,0))  

net.blobs['data'].reshape(1,3,trainedSize,trainedSize)

# 写入结果文件
output=open(answer, 'w')

# Load labels file
imagenet_labels_filename = caffe_root + sysTXTPath
labels = np.loadtxt(imagenet_labels_filename, str, delimiter= ':')

# 循环迭代进行每个图片的classification
for root,dirs,files in os.walk(test_dir):
    for i in xrange (0,files.__len__()):
        sf=os.path.join(root,files[i])
        output.write(((files[i]).split('.'))[0]+':')
        net.blobs['data'].data[...] = transformer.preprocess('data', caffe.io.load_image(sf))
        out = net.forward()
        # 这个是当前识别的图像的类别索引,需要到你自己定义的synsets_words中查找对应的类别名称
        index = out['prob'].argmax() 
        output.write((labels[index][1]) + '\n')
        output.close()

end = time.time()
print 'All time used: '+ str(end-start) + ' seconds' 

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏ATYUN订阅号

将Keras权值保存为动画视频,更好地了解模型是如何学习的

将Keras权值矩阵保存为简短的动画视频,从而更好地理解你的神经网络模型是如何学习的。下面是第一个LSTM层的例子,以及一个经过一个学习周期训练的6级RNN模型...

3404
来自专栏人工智能LeadAI

谷歌开放的TensorFlow Object Detection API 效果如何?对业界有什么影响?

熟悉TensorFlow的人都知道,tf在Github上的主页是: https://github.com/tensorflow , 然后这个主页下又有两个比较...

3878
来自专栏用户2442861的专栏

Caffe学习:Blobs, Layers, and Nets

-注意:网络结构是设备无关的,Blob和Layer=隐藏了模型定义的具体实现细节。定义网络结构后,可以通过Caffe::mode()或者Caffe::set_m...

530
来自专栏人工智能头条

技术 | 机器学习中Python库的3个简单实践——你的图片将由你来创造

【导读】今天为大家介绍机器学习、深度学习中一些优秀、有意思的 Python 库,以及这些库的 Code 实践教程。涉及到的理论与学术内容会附上相应的论文与博客,...

1424
来自专栏专知

【干货】主题模型如何帮助法律部门提取PDF摘要及可视化(附代码)

【导读】本文是Oguejiofor Chibueze于1月25日发布的一篇实用向博文,详细介绍了如何将主题模型应用于法律部门。文章中,作者分析了律师在浏览大量的...

3467
来自专栏新智元

10 亿图片仅需 17.7微秒:Facebook AI 实验室开源图像搜索工具Faiss

【新智元导读】Facebook的 FAIR 最新开源了一个用于有效的相似性搜索和稠密矢量聚类的库,名为 Faiss,在10亿图像数据集上的一次查询仅需17.7 ...

3505
来自专栏AI研习社

手把手教你搭建能够实现 Prisma 风格迁移效果的 iOS 酷炫应用(附代码)

随着 2012 年深度神经网络在 ImageNetchallenge 比赛上以 AlexNet 模型获胜,深度神经网络开创了空前的高潮。AI 工程师已经将深度学...

1363
来自专栏SIGAI学习与实践平台

【免费线上实践】动手训练模型系列:条件GAN

从无序的输出到按照类别输出,Conditional Generative Neural Networks到底借助了什么样的魔(xin)法(xi)?点击下方小程序...

745
来自专栏数据魔术师

运筹学教学|Berders decomposition (二)应用实例及算法实现(附源代码及详细的代码注释)

我们在运筹学教学|Benders decomposition(一)技术介绍篇中已经介绍了Benders Decomposition的基本原理,下面为大家提供具体...

3857
来自专栏杨熹的专栏

如何应用 BERT :Bidirectional Encoder Representations from Transformers

上一篇文章介绍了 Google 最新的BERT (Bidirectional Encoder Representations from Transformers...

1002

扫码关注云+社区