model.py
上一篇说到Faster R-CNN的流程图被写成类，这里就介绍目标检测的基类-----DetectionModel。在model.py里面，DetectionModel定义的很简单。
概述：
- model.py（object_detection\core\model.py）中有一个DetectionModel是所有的检测模型的基类
- 前面说的faster_rcnn_meta_arch.py中有个FasterRCNNMetaArch类其实就是DetectionModel的子类
- DetectionModel中主要的方发都是抽象方法并未实现，需要在子类中实现，所以就出现object_detection\meta_architectures下的子类，这些都是DetectionModel类的具体实现。
[ssd_meta_arch.py]：基于SSD算法。
[faster_rcnn_meta_arch.py]：基于Faster R-CNN算法。
[rfcn_meta_arch.py]：基于R-FCN算法。
对于我来说DetectionModel是一个流程图，里面有很多功能： - 在
train.py及eval.py等脚本中，通过DetectionModel子类对象构建计算图。 - 一般来说，并不直接使用
DetectionModel，而会使用它的几个子类，基于特定算法做了进一步改进：
检测模型的流程图：
Training time:
inputs (images tensor) -> preprocess -> predict -> loss -> outputs (loss tensor)
Evaluation time:
inputs (images tensor) -> preprocess -> predict -> postprocess -> outputs (boxes tensor, scores tensor, classes tensor, num_detections tensor)
DetectionModel(object)
就是下面的这些：有好几个未实现的算法：
class DetectionModel(object):
"""Abstract base class for detection models."""
__metaclass__ = ABCMeta
def __init__(self, num_classes):
self._num_classes = num_classes
self._groundtruth_lists = {}
@property
def num_classes(self):
return self._num_classes
def groundtruth_lists(self, field):
return field in self._groundtruth_lists
@abstractmethod
def preprocess(self, inputs):
pass
@abstractmethod
def predict(self, preprocessed_inputs):
pass
@abstractmethod
def postprocess(self, prediction_dict, **params):
pass
@abstractmethod
def loss(self, prediction_dict):
pass
def provide_groundtruth(self,
groundtruth_boxes_list,
groundtruth_classes_list,
groundtruth_masks_list=None,
groundtruth_keypoints_list=None):
self._groundtruth_lists[fields.BoxListFields.boxes] = groundtruth_boxes_list
self._groundtruth_lists[
fields.BoxListFields.classes] = groundtruth_classes_list
if groundtruth_masks_list:
self._groundtruth_lists[
fields.BoxListFields.masks] = groundtruth_masks_list
if groundtruth_keypoints_list:
self._groundtruth_lists[
fields.BoxListFields.keypoints] = groundtruth_keypoints_list
@abstractmethod
def restore_map(self, from_detection_checkpoint=True):
pass
介绍几个重要的函数
- preprocess(self, inputs):
１.作用：输入数据预处理，以及责作为图像所需的任何调整大小，如的 scaling/shifting/resizing/padding 操作。
输入：
２.inputs：shape为 [batch, height_in, width_in, channels] 的float32 tensor，数值范围在[0, 255]之间。
输出：
３.preprocessed_inputs：shape为[batch, height_out, width_out, channels]的 float32
tensor。
３.注意事项：
+假设这个操作没有任何可训练的变量，也不以任何方式影响标签注释[这里说的是标签框]（因此应该在外部执行诸如随机裁剪之类的数据增强操作）。
+没有假设这个函数中的批大小与预测函数中的批大小相同。事实上，我们建议在调用任何批处理操作（这应该发生在模型之外）之前调用预处理函数，并因此假设预处理函数中的批处理大小等于1。
+也没有明确的假设输出分辨率必须在输入端固定——这是为了支持“完全卷积”设置，其中输入图像可以具有不同的形状/分辨率。 - predict(self, preprocessed_inputs):
作用：输入preprocessed_inputs的结果，并获取预测值。
输入：即preprocess函数中的输出preprocessed_inputs 和 true_image_shapes。
输出：prediction_dict，用字典保存了所有预测结果，可以根据模型自己实现。
注意事项：
该函数输出的prediction_dict会用于后续的loss或postprocess中。
对于不同的模型，prediction_dict中的key也各不相同，具体可以参考DetectionModel的各个子类。 - postprocess(self, prediction_dict, ** params):
作用：筛选模型预测结果，获取最终检测结果。输出是[0，num_classes）中的整数；背景类被移除。第一个非背景类被映射到0。如果模型产生一个类不存在的类别，则不为类生成输出。输出框被为[y_min, x_min, y_max, x_max]，相对于图像窗口的格式和归一化。num_detections是用来设定固定的检测数量的。同时，没有具体假设任何类型的概率解释。
输入：predict函数的输出，作为predict的输入。添加了**params，方便二次开发。
输出是一个字典，包含以下参数：
1.detection_boxes: shape为[batch, max_detections, 4]
2.detection_scores: shape为[batch, max_detections]
3.detection_classes: shape为[batch, max_detections]（根据模型具体实现，该值可能不存在）。
4.instance_masks: shape为[batch, max_detections, image_height, image_width]，可选参数。
5.keypoints: shape为[batch, max_detections, num_keypoints, 2]，可选参数。
6.num_detections: shape为[batch]。
注意事项：一般用于预测，不用于训练。 - loss(self, prediction_dict):
作用：通过预测结果计算损失函数的值。
输入：true_image_shapes是preprocess函数的输出，prediction_dict是predict函数的输出。
输出：一个字典，保存各类不同损失函数的计算结果tensor，不同算法不同。 - restore_map(self, from_detection_checkpoint=True)
作用：获取需要从ckpt文件中restore的变量。
输入：fine_tune_checkpoint_type表示获取数据的类型。
输出：一个字典，key为变量名，value为变量对象。 - provide_groundtruth(self,
groundtruth_boxes_list,
groundtruth_classes_list,
groundtruth_masks_list=None,
groundtruth_keypoints_list=None):
作用:从输入文件中得到真实标签的标签信息 - groundtruth_lists(self, field)：
输入： 从文中读取输入框文件fields.BoxListFields.{boxes,classes,masks,keypoints}
输出： 输出tensor的信息列表
这个DetectionModel是所有检测模型的抽象基类，实现需要在各个子类实现，在object_detection\meta_architectures的所有类的定义都是在DetectionModel上定义的，下一篇就是开挖faster_rcnn_meta_arch.py。
DetectionModel使用流程
请看object_detectionAPI源码阅读笔记（3)
