2020-07-16 20:05发布
Caffe是一个清晰而高效的深度学习框架,本文详细介绍了caffe的优势、架构,网络定义、各层定义,Caffe的安装与配置,解读了Caffe实现的图像分类模型AlexNet,并演示了CIFAR-10在caffe上进行训练与学习。
Caffe是一个清晰而高效的深度学习框架,其作者是博士毕业于UCBerkeley的
贾扬清,目前在Google工作。
Caffe是纯粹的C++/CUDA架构,支持命令行、Python和MATLAB接口;可以在CPU和GPU直接无缝切换:
Caffe::set_mode(Caffe::GPU);
Caffe的优势
上手快:模型与相应优化都是以文本形式而非代码形式给出。
Caffe给出了模型的定义、最优化设置以及预训练的权重,方便立即上手。速度快:能够运行最棒的模型与海量的数据。
Caffe与cuDNN结合使用,测试AlexNet模型,在K40上处理每张图片只需要1.17ms.模块化:方便扩展到新的任务和设置上。
可以使用Caffe提供的各层类型来定义自己的模型。开放性:公开的代码和参考模型用于再现。社区好:可以通过BSD-2参与开发与讨论。Caffe的网络定义
Caffe中的网络都是有向无环图的集合,可以直接定义:
name:"dummy-net"
layers{name:"data"…}
layers{name:"conv"…}
layers{name:"pool"…}
layers{name:"loss"…}
数据及其导数以blobs的形式在层间流动。
Caffe的各层定义
Caffe层的定义由2部分组成:层属性与层参数,例如
name:"conv1"
type:CONVOLUTION
bottom:"data"
top:"conv1"
convolution_param{
num_output:20
kernel_size:5
stride:1
weight_filler{
type:"xavier"
}
这段配置文件的前4行是层属性,定义了层名称、层类型以及层连接结构(输入blob和输出blob);而后半部分是各种层参数。Blob
Blob是用以存储数据的4维数组,例如
对于数据:Number*Channel*Height*Width对于卷积权重:Output*Input*Height*Width对于卷积偏置:Output*1*1*1训练网络
网络参数的定义也非常方便,可以随意设置相应参数。
甚至调用GPU运算只需要写一句话:
solver_mode:GPU
Caffe的安装与配置
Caffe需要预先安装一些依赖项,首先是CUDA驱动。不论是CentOS还是Ubuntu都预装了开源的nouveau显卡驱动(SUSE没有这种问题),如果不禁用,则CUDA驱动不能正确安装。以Ubuntu为例,介绍一下这里的处理方法,当然也有其他处理方法。
生成mnist-train-leveldb/和mnist-test-leveldb/,把数据转化成leveldb格式:
训练网络:
#sudovi/etc/modprobe.d/blacklist.conf
#增加一行:blacklistnouveau
sudoapt-get--purgeremovexserver-xorg-video-nouveau#把官方驱动彻底卸载:
sudoapt-get--purgeremovenvidia-*#清除之前安装的任何NVIDIA驱动
sudoservicelightdmstop#进命令行,关闭Xserver
sudokillallXorg
安装了CUDA之后,依次按照Caffe官网安装指南安装BLAS、OpenCV、Boost即可。
Caffe跑跑MNIST试试
在Caffe安装目录之下,首先获得MNIST数据集:
cddata/mnist
shget_mnist.sh
生成mnist-train-leveldb/和 mnist-test-leveldb/,把数据转化成leveldb格式:
cdexamples/lenet
shcreate_mnist.sh
shtrain_lenet.sh
让Caffe生成的数据集能在Theano上直接运行
不论使用何种框架进行CNNs训练,共有3种数据集:
TrainingSet:用于训练网络ValidationSet:用于训练时测试网络准确率TestSet:用于测试网络训练完成后的最终正确率Caffe生成的数据分为2种格式:Lmdb和Leveldb
它们都是键/值对(Key/ValuePair)嵌入式数据库管理系统编程库。虽然lmdb的内存消耗是leveldb的1.1倍,但是lmdb的速度比leveldb快10%至15%,更重要的是lmdb允许多种训练模型同时读取同一组数据集。
因此lmdb取代了leveldb成为Caffe默认的数据集生成格式。GoogleProtocolBuffer的安装
ProtocolBuffer是一种类似于XML的用于序列化数据的自动机制。
首先在ProtocolBuffers的中下载最新版本:https://developers.google.com/protocol-buffers/docs/downloads
解压后运行:
./configure
$make
$makecheck
$makeinstall
pipinstallprotobuf
添加动态链接库
exportLD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
Lmdb的安装
pipinstalllmdb
要parse(解析)一个protobuf类型数据,首先要告诉计算机你这个protobuf数据内部是什么格式(有哪些项,这些项各是什么数据类型的决定了占用多少字节,这些项可否重复,重复几次),安装protobuf这个module就可以用protobuf专用的语法来定义这些格式(这个是.proto文件)了,然后用protoc来编译这个.proto文件就可以生成你需要的目标文件。
想要定义自己的.proto文件请阅读:https://developers.google.com/protocol-buffers/docs/proto?hl=zh-cn
编译.proto文件
protoc--proto_path=IMPORT_PATH--cpp_out=DST_DIR--java_out=DST_DIR--python_out=DST_DIRpath/to/file.proto
--proto_path也可以简写成-I是.proto所在的路径
输出路径:
--cpp_out要生成C++可用的头文件,分别是***.pb.h(包含申明类)***.pb.cc(包含可执行类),使用的时候只要include“***.pb.h”
--java_out生成java可用的头文件
--python_out生成python可用的头文件,**_pb2.py,使用的时候import**_pb2.py即可
最后一个参数就是你的.proto文件完整路径。
Caffe(CNN,deeplearning)介绍
Caffe-----------ConvolutionArchitectureForFeatureEmbedding(Extraction)
Caffe是什么东东?
CNN(DeepLearning)工具箱C++语言架构CPU和GPU无缝交换Python和matlab的封装但是,Decaf只是CPU版本。
为什么要用Caffe?
运算速度快。简单友好的架构用到的一些库:GoogleLogginglibrary(Glog):一个C++语言的应用级日志记录框架,提供了C++风格的流操作和各种助手宏.lebeldb(数据存储):是一个google实现的非常高效的kv数据库,单进程操作。CBLASlibrary(CPU版本的矩阵操作)CUBLASlibrary(GPU版本的矩阵操作)
Caffe架构
预处理图像的leveldb构建
输入:一批图像和label(2和3)
输出:leveldb(4)
指令里包含如下信息:
conver_imageset(构建leveldb的可运行程序)train/(此目录放处理的jpg或者其他格式的图像)label.txt(图像文件名及其label信息)输出的leveldb文件夹的名字CPU/GPU(指定是在cpu上还是在gpu上运行code)
CNN网络配置文件
Imagenet_solver.prototxt(包含全局参数的配置的文件)Imagenet.prototxt(包含训练网络的配置的文件)Imagenet_val.prototxt(包含测试网络的配置文件)Caffe深度学习之图像分类模型AlexNet解读
在imagenet上的图像分类challenge上Alex提出的alexnet网络结构模型赢得了2012届的冠军。要研究CNN类型DL网络模型在图像分类上的应用,就逃不开研究alexnet,这是CNN在图像分类上的经典模型(DL火起来之后)。
在DL开源实现caffe的model样例中,它也给出了alexnet的复现,具体网络配置文件如下
train_val.prototxt
接下来本文将一步步对该网络配置结构中各个层进行详细的解读(训练阶段):
各种layer的operation更多解释可以参考
CaffeLayerCatalogue
从计算该模型的数据流过程中,该模型参数大概5kw+。
conv1阶段DFD(dataflowdiagram):
conv2阶段DFD(dataflowdiagram):
conv3阶段DFD(dataflowdiagram):
conv4阶段DFD(dataflowdiagram):
conv5阶段DFD(dataflowdiagram):
fc6阶段DFD(dataflowdiagram):
fc7阶段DFD(dataflowdiagram):
fc8阶段DFD(dataflowdiagram):
caffe的输出中也有包含这块的内容日志,详情如下:I072110:38:15.3269204692net.cpp:125]Topshape:2563227227(39574272)
I072110:38:15.3269714692net.cpp:125]Topshape:256111(256)
I072110:38:15.3269824692net.cpp:156]datadoesnotneedbackwardcomputation.
I072110:38:15.3270034692net.cpp:74]CreatingLayerconv1
I072110:38:15.3270114692net.cpp:84]conv1<-data
I072110:38:15.3270334692net.cpp:110]conv1->conv1
I072110:38:16.7219564692net.cpp:125]Topshape:256965555(74342400)
I072110:38:16.7220304692net.cpp:151]conv1needsbackwardcomputation.
I072110:38:16.7220594692net.cpp:74]CreatingLayerrelu1
I072110:38:16.7220704692net.cpp:84]relu1<-conv1
I072110:38:16.7220824692net.cpp:98]relu1->conv1(in-place)
I072110:38:16.7220964692net.cpp:125]Topshape:256965555(74342400)
I072110:38:16.7221054692net.cpp:151]relu1needsbackwardcomputation.
I072110:38:16.7221164692net.cpp:74]CreatingLayerpool1
I072110:38:16.7221254692net.cpp:84]pool1<-conv1
I072110:38:16.7221334692net.cpp:110]pool1->pool1
I072110:38:16.7221674692net.cpp:125]Topshape:256962727(17915904)
I072110:38:16.7221874692net.cpp:151]pool1needsbackwardcomputation.
I072110:38:16.7222054692net.cpp:74]CreatingLayernorm1
I072110:38:16.7222214692net.cpp:84]norm1<-pool1
I072110:38:16.7222344692net.cpp:110]norm1->norm1
I072110:38:16.7222514692net.cpp:125]Topshape:256962727(17915904)
I072110:38:16.7222604692net.cpp:151]norm1needsbackwardcomputation.
I072110:38:16.7222724692net.cpp:74]CreatingLayerconv2
I072110:38:16.7222804692net.cpp:84]conv2<-norm1
I072110:38:16.7222904692net.cpp:110]conv2->conv2
I072110:38:16.7252254692net.cpp:125]Topshape:2562562727(47775744)
I072110:38:16.7252424692net.cpp:151]conv2needsbackwardcomputation.
I072110:38:16.7252534692net.cpp:74]CreatingLayerrelu2
I072110:38:16.7252614692net.cpp:84]relu2<-conv2
I072110:38:16.7252704692net.cpp:98]relu2->conv2(in-place)
I072110:38:16.7252804692net.cpp:125]Topshape:2562562727(47775744)
I072110:38:16.7252884692net.cpp:151]relu2needsbackwardcomputation.
I072110:38:16.7252984692net.cpp:74]CreatingLayerpool2
I072110:38:16.7253074692net.cpp:84]pool2<-conv2
I072110:38:16.7253174692net.cpp:110]pool2->pool2
I072110:38:16.7253294692net.cpp:125]Topshape:2562561313(11075584)
I072110:38:16.7253384692net.cpp:151]pool2needsbackwardcomputation.
I072110:38:16.7253584692net.cpp:74]CreatingLayernorm2
I072110:38:16.7253684692net.cpp:84]norm2<-pool2
I072110:38:16.7253784692net.cpp:110]norm2->norm2
I072110:38:16.7253894692net.cpp:125]Topshape:2562561313(11075584)
I072110:38:16.7253994692net.cpp:151]norm2needsbackwardcomputation.
I072110:38:16.7254094692net.cpp:74]CreatingLayerconv3
I072110:38:16.7254194692net.cpp:84]conv3<-norm2
I072110:38:16.7254274692net.cpp:110]conv3->conv3
I072110:38:16.7351934692net.cpp:125]Topshape:2563841313(16613376)
I072110:38:16.7352134692net.cpp:151]conv3needsbackwardcomputation.
I072110:38:16.7352244692net.cpp:74]CreatingLayerrelu3
I072110:38:16.7352344692net.cpp:84]relu3<-conv3
I072110:38:16.7352424692net.cpp:98]relu3->conv3(in-place)
I072110:38:16.7352504692net.cpp:125]Topshape:2563841313(16613376)
I072110:38:16.7352584692net.cpp:151]relu3needsbackwardcomputation.
I072110:38:16.7353024692net.cpp:74]CreatingLayerconv4
I072110:38:16.7353124692net.cpp:84]conv4<-conv3
I072110:38:16.7353214692net.cpp:110]conv4->conv4
I072110:38:16.7439524692net.cpp:125]Topshape:2563841313(16613376)
I072110:38:16.7439884692net.cpp:151]conv4needsbackwardcomputation.
I072110:38:16.7440004692net.cpp:74]CreatingLayerrelu4
I072110:38:16.7440104692net.cpp:84]relu4<-conv4
I072110:38:16.7440204692net.cpp:98]relu4->conv4(in-place)
I072110:38:16.7440304692net.cpp:125]Topshape:2563841313(16613376)
I072110:38:16.7440384692net.cpp:151]relu4needsbackwardcomputation.
I072110:38:16.7440504692net.cpp:74]CreatingLayerconv5
I072110:38:16.7440574692net.cpp:84]conv5<-conv4
I072110:38:16.7440674692net.cpp:110]conv5->conv5
I072110:38:16.7489354692net.cpp:125]Topshape:2562561313(11075584)
I072110:38:16.7489554692net.cpp:151]conv5needsbackwardcomputation.
I072110:38:16.7489654692net.cpp:74]CreatingLayerrelu5
I072110:38:16.7489754692net.cpp:84]relu5<-conv5
I072110:38:16.7489834692net.cpp:98]relu5->conv5(in-place)
I072110:38:16.7489984692net.cpp:125]Topshape:2562561313(11075584)
I072110:38:16.7490114692net.cpp:151]relu5needsbackwardcomputation.
I072110:38:16.7490224692net.cpp:74]CreatingLayerpool5
I072110:38:16.7490304692net.cpp:84]pool5<-conv5
I072110:38:16.7490394692net.cpp:110]pool5->pool5
I072110:38:16.7490504692net.cpp:125]Topshape:25625666(2359296)
I072110:38:16.7490584692net.cpp:151]pool5needsbackwardcomputation.
I072110:38:16.7490744692net.cpp:74]CreatingLayerfc6
I072110:38:16.7490834692net.cpp:84]fc6<-pool5
I072110:38:16.7490914692net.cpp:110]fc6->fc6
I072110:38:17.1600794692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.1601484692net.cpp:151]fc6needsbackwardcomputation.
I072110:38:17.1601664692net.cpp:74]CreatingLayerrelu6
I072110:38:17.1601774692net.cpp:84]relu6<-fc6
I072110:38:17.1601904692net.cpp:98]relu6->fc6(in-place)
I072110:38:17.1602024692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.1602124692net.cpp:151]relu6needsbackwardcomputation.
I072110:38:17.1602224692net.cpp:74]CreatingLayerdrop6
I072110:38:17.1602304692net.cpp:84]drop6<-fc6
I072110:38:17.1602384692net.cpp:98]drop6->fc6(in-place)
I072110:38:17.1602584692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.1602654692net.cpp:151]drop6needsbackwardcomputation.
I072110:38:17.1602774692net.cpp:74]CreatingLayerfc7
I072110:38:17.1602864692net.cpp:84]fc7<-fc6
I072110:38:17.1602954692net.cpp:110]fc7->fc7
I072110:38:17.3420944692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.3421574692net.cpp:151]fc7needsbackwardcomputation.
I072110:38:17.3421754692net.cpp:74]CreatingLayerrelu7
I072110:38:17.3421854692net.cpp:84]relu7<-fc7
I072110:38:17.3421984692net.cpp:98]relu7->fc7(in-place)
I072110:38:17.3422084692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.3422174692net.cpp:151]relu7needsbackwardcomputation.
I072110:38:17.3422284692net.cpp:74]CreatingLayerdrop7
I072110:38:17.3422364692net.cpp:84]drop7<-fc7
I072110:38:17.3422454692net.cpp:98]drop7->fc7(in-place)
I072110:38:17.3422544692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.3422624692net.cpp:151]drop7needsbackwardcomputation.
I072110:38:17.3422744692net.cpp:74]CreatingLayerfc8
I072110:38:17.3422834692net.cpp:84]fc8<-fc7
I072110:38:17.3422914692net.cpp:110]fc8->fc8
I072110:38:17.3431994692net.cpp:125]Topshape:2562211(5632)
I072110:38:17.3432144692net.cpp:151]fc8needsbackwardcomputation.
I072110:38:17.3432314692net.cpp:74]CreatingLayerloss
I072110:38:17.3432404692net.cpp:84]loss<-fc8
I072110:38:17.3432504692net.cpp:84]loss<-label
I072110:38:17.3432644692net.cpp:151]lossneedsbackwardcomputation.
I072110:38:17.3433054692net.cpp:173]CollectingLearningRateandWeightDecay.
I072110:38:17.3433274692net.cpp:166]Networkinitializationdone.
I072110:38:17.3433354692net.cpp:167]MemoryrequiredforData1073760256
CIFAR-10在caffe上进行训练与学习
使用数据库:CIFAR-10
60000张32X32彩色图像10类,50000张训练,10000张测试
准备
在终端运行以下指令:
cd$CAFFE_ROOT/data/cifar10
./get_cifar10.sh
cd$CAFFE_ROOT/examples/cifar10
./create_cifar10.sh
其中CAFFE_ROOT是caffe-master在你机子的地址
运行之后,将会在examples中出现数据库文件./cifar10-leveldb和数据库图像均值二进制文件./mean.binaryproto
模型
该CNN由卷积层,POOLing层,非线性变换层,在顶端的局部对比归一化线性分类器组成。该模型的定义在CAFFE_ROOT/examples/cifar10directory’scifar10_quick_train.prototxt中,可以进行修改。其实后缀为prototxt很多都是用来修改配置的。
训练和测试
训练这个模型非常简单,当我们写好参数设置的文件cifar10_quick_solver.prototxt和定义的文件cifar10_quick_train.prototxt和cifar10_quick_test.prototxt后,运行train_quick.sh或者在终端输入下面的命令:
./train_quick.sh
即可,train_quick.sh是一个简单的脚本,会把执行的信息显示出来,培训的工具是train_net.bin,cifar10_quick_solver.prototxt作为参数。
然后出现类似以下的信息:这是搭建模型的相关信息
I031721:52:48.9457102008298256net.cpp:74]CreatingLayerconv1
I031721:52:48.9457162008298256net.cpp:84]conv1<-data
I031721:52:48.9457252008298256net.cpp:110]conv1->conv1
I031721:52:49.2986912008298256net.cpp:125]Topshape:100323232(3276800)
I031721:52:49.2987192008298256net.cpp:151]conv1needsbackwardcomputation.
接着:
031721:52:49.3093702008298256net.cpp:166]Networkinitializationdone.
I031721:52:49.3093762008298256net.cpp:167]MemoryrequiredforData23790808
I031721:52:49.3094222008298256solver.cpp:36]Solverscaffoldingdone.
I031721:52:49.3094472008298256solver.cpp:47]SolvingCIFAR10_quick_train
之后,训练开始
I031721:53:12.1797722008298256solver.cpp:208]Iteration100,lr=0.001
I031721:53:12.1856982008298256solver.cpp:65]Iteration100,loss=1.73643
...
I031721:54:41.1500302008298256solver.cpp:87]Iteration500,Testingnet
I031721:54:47.1294612008298256solver.cpp:114]Testscore#0:0.5504
I031721:54:47.1295002008298256solver.cpp:114]Testscore#1:1.27805
其中每100次迭代次数显示一次训练时lr(learningrate),和loss(训练损失函数),每500次测试一次,输出score0(准确率)和score1(测试损失函数)
当5000次迭代之后,正确率约为75%,模型的参数存储在二进制protobuf格式在cifar10_quick_iter_5000
然后,这个模型就可以用来运行在新数据上了。
其他
另外,更改cifar*solver.prototxt文件可以使用CPU训练,
#solvermode:CPUorGPU
solver_mode:CPU
可以看看CPU和GPU训练的差别。
主要资料来源:caffe官网教程
原文链接:
Caffe深度学习框架上手教程
里氏代换原则(Liskov Substitution Principle, LSP):所有引用基类(父类)的地方必须能透明地使用其子类的对象里氏代换原则告诉我们,在软件中将一个基类对象替换成它的子类对象,程序将不会产生任何错误和异常,反过来则不成立,如果一个软件实体使用的是一...
心里有个预期,然后看看是以什么目的进这家企业工作,要是赚钱的话,那就多要点,要是学习的话,可以根据情况要一个能养活自己的价格。
Java中有八种数据类型,基础数据类型分别是:byte,short,int,long,float,double,char,boolean,引用数据类型分别是:数组,类和接口。方法传参的时候我们有两种,一种是形式参数(定义方法时写的参数),一种是实际参数(调用方法时给的具体值)。首先...
现在的架构很多,各种各样的,如高并发架构、异地多活架构、容器化架构、微服务架构、高可用架构、弹性化架构等,还有和这些架构相关的管理型的技术方法,如 DevOps、应用监控、自动化运维、SOA 服务治理、去 IOE 等等,还有很多。分布式架构其实就是分布式系...
1、监控GC的状态使用各种JVM工具,查看当前日志,分析JVM参数的设置,分析堆内存快照和GC日志,根据实际的各区域的内存划分和GC的执行时间,判断是否需要进行优化2、分析结果、判断是否需要优化如果各项参数设置合理,系统没有超时的日志出现,GC频率也不高,...
MyBatis 每次创建结果对象的新实例时,它都会使用一个对象工厂(ObjectFactory)实例来完成。 默认的对象工厂需要做的仅仅是实例化目标类,要么通过默认构造方法,要么在参数映射存在的时候通过参数构造方法来实例化。 如果想覆盖对象工厂的默认行为,则可以...
学vue应该要先学习javascript 的基础知识和用法。
1、lambda是jdk8的新特性2、使用lambda的前提,必须是一个接口,接口只能有一个抽象方法3、Lambda 表达式的简单例子:// 1. 不需要参数,返回值为 5 () -> 5 // 2. 接收一个参数(数字类型),返回其2倍的值 x -> 2 * x // 3. 接受2个参数(数...
Python可以说是这几门著名语言里最易理解的了,这就是Python的优点之一,相比较其他语言,PHP,Java,C C++ C#这些语言,
学测试吧,简单容易些
第一语言现在还是java比较好找工作,第二语言学Python或者是go语言都可以了解一下
一、模块介绍1. 定义:模块:本质就是.py结尾的python文件(文件名:test.py,对应的模块名:test)用来从逻辑上组织python代码(变量,函数,类,逻辑:实现一个功能)2. 语法:• import 语句当解释器遇到import语句,如果模块在当前的搜索路径就会被导入。...
PythonPython是一种面向对象的解释型计算机程序设计语言,具有丰富强大的库,常被称为胶水语言,能够把其他语言制作的各种模块轻松链接在一起。因此Python具有:简单易学、数据分析能力强的特点。很多科学家都会自学Python,进行科研数据分析,由此可见Python...
1、简单;2、易学;3、免费开源;4、自动内存管理;5、可以移植;6、解释性;7、面向对象;8、可扩展;9、丰富的第三方库
人工智能是未来发展的一种趋势,也是当下非常流行的行业,是一门包含十分广泛的科学,由不同的领域组合而成,比如说机器学习、计算机视觉等等,研究人工智能涉及的方方面面是非常复杂的,那么为什么说做人工智能使用python比较好呢?1、Python遵循简单、优雅...
Python 是脚本语言,也就是中间件语言,其内核仍然百是纯 c 的性能表达的,而主要性能消耗在脚本的实时编译上。度而对比c,同样的功能,python可以表达比c更加精炼,当然牺牲了一些性能。如果确实对某知个模组性能不满意,还可以使用 c 编写 Python 模块为其...
最多设置5个标签!
Caffe是一个清晰而高效的深度学习框架,本文详细介绍了caffe的优势、架构,网络定义、各层定义,Caffe的安装与配置,解读了Caffe实现的图像分类模型AlexNet,并演示了CIFAR-10在caffe上进行训练与学习。
Caffe是一个清晰而高效的深度学习框架,其作者是博士毕业于UCBerkeley的
贾扬清,目前在Google工作。
Caffe是纯粹的C++/CUDA架构,支持命令行、Python和MATLAB接口;可以在CPU和GPU直接无缝切换:
Caffe::set_mode(Caffe::GPU);
Caffe的优势
上手快:模型与相应优化都是以文本形式而非代码形式给出。
Caffe给出了模型的定义、最优化设置以及预训练的权重,方便立即上手。速度快:能够运行最棒的模型与海量的数据。
Caffe与cuDNN结合使用,测试AlexNet模型,在K40上处理每张图片只需要1.17ms.模块化:方便扩展到新的任务和设置上。
可以使用Caffe提供的各层类型来定义自己的模型。开放性:公开的代码和参考模型用于再现。社区好:可以通过BSD-2参与开发与讨论。Caffe的网络定义
Caffe中的网络都是有向无环图的集合,可以直接定义:
name:"dummy-net"
layers{name:"data"…}
layers{name:"conv"…}
layers{name:"pool"…}
layers{name:"loss"…}
数据及其导数以blobs的形式在层间流动。
Caffe的各层定义
Caffe层的定义由2部分组成:层属性与层参数,例如
name:"conv1"
type:CONVOLUTION
bottom:"data"
top:"conv1"
convolution_param{
num_output:20
kernel_size:5
stride:1
weight_filler{
type:"xavier"
}
}
这段配置文件的前4行是层属性,定义了层名称、层类型以及层连接结构(输入blob和输出blob);而后半部分是各种层参数。Blob
Blob是用以存储数据的4维数组,例如
对于数据:Number*Channel*Height*Width对于卷积权重:Output*Input*Height*Width对于卷积偏置:Output*1*1*1训练网络
网络参数的定义也非常方便,可以随意设置相应参数。
甚至调用GPU运算只需要写一句话:
solver_mode:GPU
Caffe的安装与配置
Caffe需要预先安装一些依赖项,首先是CUDA驱动。不论是CentOS还是Ubuntu都预装了开源的nouveau显卡驱动(SUSE没有这种问题),如果不禁用,则CUDA驱动不能正确安装。以Ubuntu为例,介绍一下这里的处理方法,当然也有其他处理方法。
生成mnist-train-leveldb/和mnist-test-leveldb/,把数据转化成leveldb格式:
训练网络:
#sudovi/etc/modprobe.d/blacklist.conf
#增加一行:blacklistnouveau
sudoapt-get--purgeremovexserver-xorg-video-nouveau#把官方驱动彻底卸载:
sudoapt-get--purgeremovenvidia-*#清除之前安装的任何NVIDIA驱动
sudoservicelightdmstop#进命令行,关闭Xserver
sudokillallXorg
安装了CUDA之后,依次按照Caffe官网安装指南安装BLAS、OpenCV、Boost即可。
Caffe跑跑MNIST试试
在Caffe安装目录之下,首先获得MNIST数据集:
cddata/mnist
shget_mnist.sh
生成mnist-train-leveldb/和 mnist-test-leveldb/,把数据转化成leveldb格式:
cdexamples/lenet
shcreate_mnist.sh
训练网络:
shtrain_lenet.sh
让Caffe生成的数据集能在Theano上直接运行
不论使用何种框架进行CNNs训练,共有3种数据集:
TrainingSet:用于训练网络ValidationSet:用于训练时测试网络准确率TestSet:用于测试网络训练完成后的最终正确率Caffe生成的数据分为2种格式:Lmdb和Leveldb
它们都是键/值对(Key/ValuePair)嵌入式数据库管理系统编程库。虽然lmdb的内存消耗是leveldb的1.1倍,但是lmdb的速度比leveldb快10%至15%,更重要的是lmdb允许多种训练模型同时读取同一组数据集。
因此lmdb取代了leveldb成为Caffe默认的数据集生成格式。GoogleProtocolBuffer的安装
ProtocolBuffer是一种类似于XML的用于序列化数据的自动机制。
首先在ProtocolBuffers的中下载最新版本:https://developers.google.com/protocol-buffers/docs/downloads
解压后运行:
./configure
$make
$makecheck
$makeinstall
pipinstallprotobuf
添加动态链接库
exportLD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
Lmdb的安装
pipinstalllmdb
要parse(解析)一个protobuf类型数据,首先要告诉计算机你这个protobuf数据内部是什么格式(有哪些项,这些项各是什么数据类型的决定了占用多少字节,这些项可否重复,重复几次),安装protobuf这个module就可以用protobuf专用的语法来定义这些格式(这个是.proto文件)了,然后用protoc来编译这个.proto文件就可以生成你需要的目标文件。
想要定义自己的.proto文件请阅读:https://developers.google.com/protocol-buffers/docs/proto?hl=zh-cn
编译.proto文件
protoc--proto_path=IMPORT_PATH--cpp_out=DST_DIR--java_out=DST_DIR--python_out=DST_DIRpath/to/file.proto
--proto_path也可以简写成-I是.proto所在的路径
输出路径:
--cpp_out要生成C++可用的头文件,分别是***.pb.h(包含申明类)***.pb.cc(包含可执行类),使用的时候只要include“***.pb.h”
--java_out生成java可用的头文件
--python_out生成python可用的头文件,**_pb2.py,使用的时候import**_pb2.py即可
最后一个参数就是你的.proto文件完整路径。
Caffe(CNN,deeplearning)介绍
Caffe-----------ConvolutionArchitectureForFeatureEmbedding(Extraction)
Caffe是什么东东?
CNN(DeepLearning)工具箱C++语言架构CPU和GPU无缝交换Python和matlab的封装但是,Decaf只是CPU版本。
为什么要用Caffe?
运算速度快。简单友好的架构用到的一些库:GoogleLogginglibrary(Glog):一个C++语言的应用级日志记录框架,提供了C++风格的流操作和各种助手宏.lebeldb(数据存储):是一个google实现的非常高效的kv数据库,单进程操作。CBLASlibrary(CPU版本的矩阵操作)CUBLASlibrary(GPU版本的矩阵操作)
Caffe架构
预处理图像的leveldb构建
输入:一批图像和label(2和3)
输出:leveldb(4)
指令里包含如下信息:
conver_imageset(构建leveldb的可运行程序)train/(此目录放处理的jpg或者其他格式的图像)label.txt(图像文件名及其label信息)输出的leveldb文件夹的名字CPU/GPU(指定是在cpu上还是在gpu上运行code)
CNN网络配置文件
Imagenet_solver.prototxt(包含全局参数的配置的文件)Imagenet.prototxt(包含训练网络的配置的文件)Imagenet_val.prototxt(包含测试网络的配置文件)Caffe深度学习之图像分类模型AlexNet解读
在imagenet上的图像分类challenge上Alex提出的alexnet网络结构模型赢得了2012届的冠军。要研究CNN类型DL网络模型在图像分类上的应用,就逃不开研究alexnet,这是CNN在图像分类上的经典模型(DL火起来之后)。
在DL开源实现caffe的model样例中,它也给出了alexnet的复现,具体网络配置文件如下
train_val.prototxt
接下来本文将一步步对该网络配置结构中各个层进行详细的解读(训练阶段):
各种layer的operation更多解释可以参考
CaffeLayerCatalogue
从计算该模型的数据流过程中,该模型参数大概5kw+。
conv1阶段DFD(dataflowdiagram):
conv2阶段DFD(dataflowdiagram):
conv3阶段DFD(dataflowdiagram):
conv4阶段DFD(dataflowdiagram):
conv5阶段DFD(dataflowdiagram):
fc6阶段DFD(dataflowdiagram):
fc7阶段DFD(dataflowdiagram):
fc8阶段DFD(dataflowdiagram):
caffe的输出中也有包含这块的内容日志,详情如下:I072110:38:15.3269204692net.cpp:125]Topshape:2563227227(39574272)
I072110:38:15.3269714692net.cpp:125]Topshape:256111(256)
I072110:38:15.3269824692net.cpp:156]datadoesnotneedbackwardcomputation.
I072110:38:15.3270034692net.cpp:74]CreatingLayerconv1
I072110:38:15.3270114692net.cpp:84]conv1<-data
I072110:38:15.3270334692net.cpp:110]conv1->conv1
I072110:38:16.7219564692net.cpp:125]Topshape:256965555(74342400)
I072110:38:16.7220304692net.cpp:151]conv1needsbackwardcomputation.
I072110:38:16.7220594692net.cpp:74]CreatingLayerrelu1
I072110:38:16.7220704692net.cpp:84]relu1<-conv1
I072110:38:16.7220824692net.cpp:98]relu1->conv1(in-place)
I072110:38:16.7220964692net.cpp:125]Topshape:256965555(74342400)
I072110:38:16.7221054692net.cpp:151]relu1needsbackwardcomputation.
I072110:38:16.7221164692net.cpp:74]CreatingLayerpool1
I072110:38:16.7221254692net.cpp:84]pool1<-conv1
I072110:38:16.7221334692net.cpp:110]pool1->pool1
I072110:38:16.7221674692net.cpp:125]Topshape:256962727(17915904)
I072110:38:16.7221874692net.cpp:151]pool1needsbackwardcomputation.
I072110:38:16.7222054692net.cpp:74]CreatingLayernorm1
I072110:38:16.7222214692net.cpp:84]norm1<-pool1
I072110:38:16.7222344692net.cpp:110]norm1->norm1
I072110:38:16.7222514692net.cpp:125]Topshape:256962727(17915904)
I072110:38:16.7222604692net.cpp:151]norm1needsbackwardcomputation.
I072110:38:16.7222724692net.cpp:74]CreatingLayerconv2
I072110:38:16.7222804692net.cpp:84]conv2<-norm1
I072110:38:16.7222904692net.cpp:110]conv2->conv2
I072110:38:16.7252254692net.cpp:125]Topshape:2562562727(47775744)
I072110:38:16.7252424692net.cpp:151]conv2needsbackwardcomputation.
I072110:38:16.7252534692net.cpp:74]CreatingLayerrelu2
I072110:38:16.7252614692net.cpp:84]relu2<-conv2
I072110:38:16.7252704692net.cpp:98]relu2->conv2(in-place)
I072110:38:16.7252804692net.cpp:125]Topshape:2562562727(47775744)
I072110:38:16.7252884692net.cpp:151]relu2needsbackwardcomputation.
I072110:38:16.7252984692net.cpp:74]CreatingLayerpool2
I072110:38:16.7253074692net.cpp:84]pool2<-conv2
I072110:38:16.7253174692net.cpp:110]pool2->pool2
I072110:38:16.7253294692net.cpp:125]Topshape:2562561313(11075584)
I072110:38:16.7253384692net.cpp:151]pool2needsbackwardcomputation.
I072110:38:16.7253584692net.cpp:74]CreatingLayernorm2
I072110:38:16.7253684692net.cpp:84]norm2<-pool2
I072110:38:16.7253784692net.cpp:110]norm2->norm2
I072110:38:16.7253894692net.cpp:125]Topshape:2562561313(11075584)
I072110:38:16.7253994692net.cpp:151]norm2needsbackwardcomputation.
I072110:38:16.7254094692net.cpp:74]CreatingLayerconv3
I072110:38:16.7254194692net.cpp:84]conv3<-norm2
I072110:38:16.7254274692net.cpp:110]conv3->conv3
I072110:38:16.7351934692net.cpp:125]Topshape:2563841313(16613376)
I072110:38:16.7352134692net.cpp:151]conv3needsbackwardcomputation.
I072110:38:16.7352244692net.cpp:74]CreatingLayerrelu3
I072110:38:16.7352344692net.cpp:84]relu3<-conv3
I072110:38:16.7352424692net.cpp:98]relu3->conv3(in-place)
I072110:38:16.7352504692net.cpp:125]Topshape:2563841313(16613376)
I072110:38:16.7352584692net.cpp:151]relu3needsbackwardcomputation.
I072110:38:16.7353024692net.cpp:74]CreatingLayerconv4
I072110:38:16.7353124692net.cpp:84]conv4<-conv3
I072110:38:16.7353214692net.cpp:110]conv4->conv4
I072110:38:16.7439524692net.cpp:125]Topshape:2563841313(16613376)
I072110:38:16.7439884692net.cpp:151]conv4needsbackwardcomputation.
I072110:38:16.7440004692net.cpp:74]CreatingLayerrelu4
I072110:38:16.7440104692net.cpp:84]relu4<-conv4
I072110:38:16.7440204692net.cpp:98]relu4->conv4(in-place)
I072110:38:16.7440304692net.cpp:125]Topshape:2563841313(16613376)
I072110:38:16.7440384692net.cpp:151]relu4needsbackwardcomputation.
I072110:38:16.7440504692net.cpp:74]CreatingLayerconv5
I072110:38:16.7440574692net.cpp:84]conv5<-conv4
I072110:38:16.7440674692net.cpp:110]conv5->conv5
I072110:38:16.7489354692net.cpp:125]Topshape:2562561313(11075584)
I072110:38:16.7489554692net.cpp:151]conv5needsbackwardcomputation.
I072110:38:16.7489654692net.cpp:74]CreatingLayerrelu5
I072110:38:16.7489754692net.cpp:84]relu5<-conv5
I072110:38:16.7489834692net.cpp:98]relu5->conv5(in-place)
I072110:38:16.7489984692net.cpp:125]Topshape:2562561313(11075584)
I072110:38:16.7490114692net.cpp:151]relu5needsbackwardcomputation.
I072110:38:16.7490224692net.cpp:74]CreatingLayerpool5
I072110:38:16.7490304692net.cpp:84]pool5<-conv5
I072110:38:16.7490394692net.cpp:110]pool5->pool5
I072110:38:16.7490504692net.cpp:125]Topshape:25625666(2359296)
I072110:38:16.7490584692net.cpp:151]pool5needsbackwardcomputation.
I072110:38:16.7490744692net.cpp:74]CreatingLayerfc6
I072110:38:16.7490834692net.cpp:84]fc6<-pool5
I072110:38:16.7490914692net.cpp:110]fc6->fc6
I072110:38:17.1600794692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.1601484692net.cpp:151]fc6needsbackwardcomputation.
I072110:38:17.1601664692net.cpp:74]CreatingLayerrelu6
I072110:38:17.1601774692net.cpp:84]relu6<-fc6
I072110:38:17.1601904692net.cpp:98]relu6->fc6(in-place)
I072110:38:17.1602024692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.1602124692net.cpp:151]relu6needsbackwardcomputation.
I072110:38:17.1602224692net.cpp:74]CreatingLayerdrop6
I072110:38:17.1602304692net.cpp:84]drop6<-fc6
I072110:38:17.1602384692net.cpp:98]drop6->fc6(in-place)
I072110:38:17.1602584692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.1602654692net.cpp:151]drop6needsbackwardcomputation.
I072110:38:17.1602774692net.cpp:74]CreatingLayerfc7
I072110:38:17.1602864692net.cpp:84]fc7<-fc6
I072110:38:17.1602954692net.cpp:110]fc7->fc7
I072110:38:17.3420944692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.3421574692net.cpp:151]fc7needsbackwardcomputation.
I072110:38:17.3421754692net.cpp:74]CreatingLayerrelu7
I072110:38:17.3421854692net.cpp:84]relu7<-fc7
I072110:38:17.3421984692net.cpp:98]relu7->fc7(in-place)
I072110:38:17.3422084692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.3422174692net.cpp:151]relu7needsbackwardcomputation.
I072110:38:17.3422284692net.cpp:74]CreatingLayerdrop7
I072110:38:17.3422364692net.cpp:84]drop7<-fc7
I072110:38:17.3422454692net.cpp:98]drop7->fc7(in-place)
I072110:38:17.3422544692net.cpp:125]Topshape:256409611(1048576)
I072110:38:17.3422624692net.cpp:151]drop7needsbackwardcomputation.
I072110:38:17.3422744692net.cpp:74]CreatingLayerfc8
I072110:38:17.3422834692net.cpp:84]fc8<-fc7
I072110:38:17.3422914692net.cpp:110]fc8->fc8
I072110:38:17.3431994692net.cpp:125]Topshape:2562211(5632)
I072110:38:17.3432144692net.cpp:151]fc8needsbackwardcomputation.
I072110:38:17.3432314692net.cpp:74]CreatingLayerloss
I072110:38:17.3432404692net.cpp:84]loss<-fc8
I072110:38:17.3432504692net.cpp:84]loss<-label
I072110:38:17.3432644692net.cpp:151]lossneedsbackwardcomputation.
I072110:38:17.3433054692net.cpp:173]CollectingLearningRateandWeightDecay.
I072110:38:17.3433274692net.cpp:166]Networkinitializationdone.
I072110:38:17.3433354692net.cpp:167]MemoryrequiredforData1073760256
CIFAR-10在caffe上进行训练与学习
使用数据库:CIFAR-10
60000张32X32彩色图像10类,50000张训练,10000张测试
准备
在终端运行以下指令:
cd$CAFFE_ROOT/data/cifar10
./get_cifar10.sh
cd$CAFFE_ROOT/examples/cifar10
./create_cifar10.sh
其中CAFFE_ROOT是caffe-master在你机子的地址
运行之后,将会在examples中出现数据库文件./cifar10-leveldb和数据库图像均值二进制文件./mean.binaryproto
模型
该CNN由卷积层,POOLing层,非线性变换层,在顶端的局部对比归一化线性分类器组成。该模型的定义在CAFFE_ROOT/examples/cifar10directory’scifar10_quick_train.prototxt中,可以进行修改。其实后缀为prototxt很多都是用来修改配置的。
训练和测试
训练这个模型非常简单,当我们写好参数设置的文件cifar10_quick_solver.prototxt和定义的文件cifar10_quick_train.prototxt和cifar10_quick_test.prototxt后,运行train_quick.sh或者在终端输入下面的命令:
cd$CAFFE_ROOT/examples/cifar10
./train_quick.sh
即可,train_quick.sh是一个简单的脚本,会把执行的信息显示出来,培训的工具是train_net.bin,cifar10_quick_solver.prototxt作为参数。
然后出现类似以下的信息:这是搭建模型的相关信息
I031721:52:48.9457102008298256net.cpp:74]CreatingLayerconv1
I031721:52:48.9457162008298256net.cpp:84]conv1<-data
I031721:52:48.9457252008298256net.cpp:110]conv1->conv1
I031721:52:49.2986912008298256net.cpp:125]Topshape:100323232(3276800)
I031721:52:49.2987192008298256net.cpp:151]conv1needsbackwardcomputation.
接着:
031721:52:49.3093702008298256net.cpp:166]Networkinitializationdone.
I031721:52:49.3093762008298256net.cpp:167]MemoryrequiredforData23790808
I031721:52:49.3094222008298256solver.cpp:36]Solverscaffoldingdone.
I031721:52:49.3094472008298256solver.cpp:47]SolvingCIFAR10_quick_train
之后,训练开始
I031721:53:12.1797722008298256solver.cpp:208]Iteration100,lr=0.001
I031721:53:12.1856982008298256solver.cpp:65]Iteration100,loss=1.73643
...
I031721:54:41.1500302008298256solver.cpp:87]Iteration500,Testingnet
I031721:54:47.1294612008298256solver.cpp:114]Testscore#0:0.5504
I031721:54:47.1295002008298256solver.cpp:114]Testscore#1:1.27805
其中每100次迭代次数显示一次训练时lr(learningrate),和loss(训练损失函数),每500次测试一次,输出score0(准确率)和score1(测试损失函数)
当5000次迭代之后,正确率约为75%,模型的参数存储在二进制protobuf格式在cifar10_quick_iter_5000
然后,这个模型就可以用来运行在新数据上了。
其他
另外,更改cifar*solver.prototxt文件可以使用CPU训练,
#solvermode:CPUorGPU
solver_mode:CPU
可以看看CPU和GPU训练的差别。
主要资料来源:caffe官网教程
原文链接:
Caffe深度学习框架上手教程
相关问题推荐
里氏代换原则(Liskov Substitution Principle, LSP):所有引用基类(父类)的地方必须能透明地使用其子类的对象里氏代换原则告诉我们,在软件中将一个基类对象替换成它的子类对象,程序将不会产生任何错误和异常,反过来则不成立,如果一个软件实体使用的是一...
心里有个预期,然后看看是以什么目的进这家企业工作,要是赚钱的话,那就多要点,要是学习的话,可以根据情况要一个能养活自己的价格。
Java中有八种数据类型,基础数据类型分别是:byte,short,int,long,float,double,char,boolean,引用数据类型分别是:数组,类和接口。方法传参的时候我们有两种,一种是形式参数(定义方法时写的参数),一种是实际参数(调用方法时给的具体值)。首先...
现在的架构很多,各种各样的,如高并发架构、异地多活架构、容器化架构、微服务架构、高可用架构、弹性化架构等,还有和这些架构相关的管理型的技术方法,如 DevOps、应用监控、自动化运维、SOA 服务治理、去 IOE 等等,还有很多。分布式架构其实就是分布式系...
1、监控GC的状态使用各种JVM工具,查看当前日志,分析JVM参数的设置,分析堆内存快照和GC日志,根据实际的各区域的内存划分和GC的执行时间,判断是否需要进行优化2、分析结果、判断是否需要优化如果各项参数设置合理,系统没有超时的日志出现,GC频率也不高,...
MyBatis 每次创建结果对象的新实例时,它都会使用一个对象工厂(ObjectFactory)实例来完成。 默认的对象工厂需要做的仅仅是实例化目标类,要么通过默认构造方法,要么在参数映射存在的时候通过参数构造方法来实例化。 如果想覆盖对象工厂的默认行为,则可以...
学vue应该要先学习javascript 的基础知识和用法。
1、lambda是jdk8的新特性2、使用lambda的前提,必须是一个接口,接口只能有一个抽象方法3、Lambda 表达式的简单例子:// 1. 不需要参数,返回值为 5 () -> 5 // 2. 接收一个参数(数字类型),返回其2倍的值 x -> 2 * x // 3. 接受2个参数(数...
Python可以说是这几门著名语言里最易理解的了,这就是Python的优点之一,相比较其他语言,PHP,Java,C C++ C#这些语言,
学测试吧,简单容易些
第一语言现在还是java比较好找工作,第二语言学Python或者是go语言都可以了解一下
一、模块介绍1. 定义:模块:本质就是.py结尾的python文件(文件名:test.py,对应的模块名:test)用来从逻辑上组织python代码(变量,函数,类,逻辑:实现一个功能)2. 语法:• import 语句当解释器遇到import语句,如果模块在当前的搜索路径就会被导入。...
PythonPython是一种面向对象的解释型计算机程序设计语言,具有丰富强大的库,常被称为胶水语言,能够把其他语言制作的各种模块轻松链接在一起。因此Python具有:简单易学、数据分析能力强的特点。很多科学家都会自学Python,进行科研数据分析,由此可见Python...
1、简单;2、易学;3、免费开源;4、自动内存管理;5、可以移植;6、解释性;7、面向对象;8、可扩展;9、丰富的第三方库
人工智能是未来发展的一种趋势,也是当下非常流行的行业,是一门包含十分广泛的科学,由不同的领域组合而成,比如说机器学习、计算机视觉等等,研究人工智能涉及的方方面面是非常复杂的,那么为什么说做人工智能使用python比较好呢?1、Python遵循简单、优雅...
Python 是脚本语言,也就是中间件语言,其内核仍然百是纯 c 的性能表达的,而主要性能消耗在脚本的实时编译上。度而对比c,同样的功能,python可以表达比c更加精炼,当然牺牲了一些性能。如果确实对某知个模组性能不满意,还可以使用 c 编写 Python 模块为其...