深度学习   Caffe 初始化流程理解(数据流建立)

本文是作者原创,如有理解错误,恳请大家指出,如需引用,请注明出处。

Caffe FeatureMap数据流的建立

用语解释

  • FeatureMap: 输入的图片信息或者经过多层处理后的图片信息。
  • weights: 只针对卷积层存在的权重系数。
  • caffe :文中提到的caffe均指caffed1.0,如果使用caffe2.0会特别指出。

在讲解FeatureMap的数据流之前,首先需要明确一下caffe的大体结构,caffe的整体逻辑结构分为3层,分别是Net,Layer和Blob,分别的作用如下:

  • Net: 该层处于CAFFE的最顶层,主要负责对模型文件的读写,根据模型文件的内容建立相应的Layer,填充对应层的数据并进行相关的调用。
  • Layer: 该层是实际的执行单元,常见的如卷积层,Pooling层都是处于这一逻辑层。
  • Blob:该层是一个内存管理的模块,为Layer和Net提供相应的存储空间,屏蔽上层对于内存分配,CPU,GPU切换的感知。

由上面的讲解分层关系不难看出,FeatureMap在整个Caffe框架中,不属于任何一个Layer,所以它被最顶层的Net层所持有。Net层就需要能够通过caffe的模型文件推倒出每一层所依赖的输入,这样才能构建出一个完整的数据链。在这种需求下Caffe引入了两个定义:

  • bottom: Layer的输入数据。
  • top: Layer的输出数据。
    具体的形式如下图(单输入和多输入的情形):
stream_format.jpg

所以Net在调用Layer之前就一定知道了Layer的所需要的输入数据,也就是需要Net层所持有的Blob变量需要被那些层所引用。这些在模型文件中也有直观的反应(为了方便截图,删除了下图proto中关于Convlution的参数配置):

proto_example.jpg

上述的工作都在Net的Init(void Net::Init(const NetParameter& in_param))函数里面进行了处理,主要实现的就是根据上图左侧的模型文件得到需要建立的Layer的类型,并将各个Layer间的数据链接起来。函数中的关键参数如下:

名称 功能
in_param 存放由protobuf转换出的模型文件
bottom_vecs_ 存放每一层中的输入数据类型为:vector<vector<Blob*> >
top_vecs_ 存放每一层中的输出数据类型为:vector<vector<Blob*> >
available_blobs 存放每一层中的输出数据类型为:vector<vector<Blob*> >

常规的数据链建立流程是(单输入单输出的场景):

  1. 链接本层的bottom数据( int Net::AppendBottom(const NetParameter& param, const int layer_id, const int bottom_id, set<string>* available_blobs, map<string, int>* blob_name_to_idx) ),该函数会使用从当前layer持有的bottom信息中得到对应bottom的层名,然后利用该名称找到对应的blob,并加入到bottom_vecs_。

  2. 链接本层的top数据(void Net::AppendTop(const NetParameter& param, const int layer_id,const int top_id, set<string>* available_blobs, map<string, int>* blob_name_to_idx)),该操作就是将本层的输出数据加入到top_vecs_中,并与
    layer_id相关联,这里同时负责Blob对象的申请。
    需要指出的是,新的Blob对象是在top中进行创建的,在Bottom中只是将上一层top的指针添加进来,同时在这个过程中CAFFE还利用available_blobs进行了异常校验,在每次新加入top的时候记录对应的Blob名称,在bottom中链接上一层top之后,在available_blobs中将对应的Blob名称剔除。相关伪代码如下:

     for (int layer_id = 0; layer_id < param.layer_size(); ++layer_id) {
         AppendBottom();
         AppendTop();
     }
    

多输入的数据链的建立:

细心的同学应该已经发现,当数据为多bottom输入的时候,因为available_blobs的数据被上一次的链接过程删掉,则再次链接相同bottom的时候,会出先异常告警,在这种情况下我们就要引入CAFFE的另外一处理函数 void InsertSplits(const NetParameter& param, NetParameter* param_split),该函数的主要功能就是对 top输出到多个 Layer的情况进行分割。
整个函数分为两个部分:

  1. 遍历整个网络,记录每一个Layer的top的使用情况,记录结构放在 top_idx_to_bottom_count中。

  2. 遍历整个网络,对 top_idx_to_bottom_count > 1 的情况进行处理:
    a. 首先是对top被多个层使用的Layer进行分割,主要的做法是在该层的后面新建一个Layer ,这个新的Layer的会按照 top_idx_to_bottom_count 的个数和约定的分割名称(SplitBlobName)去新建top,添加层的代码如下(此处只展示核心的创建过程,具体调用流程请自行跟踪):

     //该函数执行新层的添加
     void ConfigureSplitLayer(const string& layer_name, const string& blob_name,
         const int blob_idx, const int split_count, const float loss_weight,
         LayerParameter* split_layer_param) {
       split_layer_param->Clear();
       split_layer_param->add_bottom(blob_name);
       split_layer_param->set_name(SplitLayerName(layer_name, blob_name, blob_idx));
       split_layer_param->set_type("Split");
       for (int k = 0; k < split_count; ++k) {//split_count就是该top被引用的个数
         //添加了分割后的top
         //命名由SplitBlobName生成            
         split_layer_param->add_top(
             SplitBlobName(layer_name, blob_name, blob_idx, k));
         if (loss_weight) {
           if (k == 0) {
             split_layer_param->add_loss_weight(loss_weight);
           } else {
             split_layer_param->add_loss_weight(0);
           }
         }
       }
     }
    

    b. 之后,是对使用同一个top的后续层的bottom的blob进行改名,使用与上一步相同的命名规则进行改名。

下面以SqueezeNet1.1为例,展示了添加新的分割层的实例:

![Upload new_split_layer.jpg failed. Please try again.]

通过这样一个分割的转化,达到了对多输入数据流的建立。

遗留问题

上面讲的是在初始化阶段对FeatureMap数据的链接关系的建立,但是对于weights的填充和初始图片的输入并没有进行分析。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,080评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,422评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,630评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,554评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,662评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,856评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,014评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,752评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,212评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,541评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,687评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,347评论 4 331
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,973评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,777评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,006评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,406评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,576评论 2 349

推荐阅读更多精彩内容