上一篇是网络模型的加载，这一篇是输入模型的加载，之后还有训练模型的加载。
输入模型的加载的开始是train.py文件中的
create_input_dict_fn = functools.partial(input_reader_builder.build, input_config)
那就进入input_reader_builder.build看一看。
parallel_reader = tf.contrib.slim.parallel_reader
def build(input_reader_config):
#判断类型输入的类型是否为input_reader_pb2.InputReader)
if not isinstance(input_reader_config, input_reader_pb2.InputReader):
raise ValueError('input_reader_config not of type '
'input_reader_pb2.InputReader.')
#只接受输入类型为tf_record_input_reader的输入
if input_reader_config.WhichOneof('input_reader') == 'tf_record_input_reader':
#获取数据集存放位置
config = input_reader_config.tf_record_input_reader
_, string_tensor = parallel_reader.parallel_read(
config.input_path,
reader_class=tf.TFRecordReader,
num_epochs=(input_reader_config.num_epochs
if input_reader_config.num_epochs else None),
num_readers=input_reader_config.num_readers,
shuffle=input_reader_config.shuffle,
dtypes=[tf.string, tf.string],
capacity=input_reader_config.queue_capacity,
min_after_dequeue=input_reader_config.min_after_dequeue)
return tf_example_decoder.TfExampleDecoder().decode(string_tensor)
raise ValueError('Unsupported input_reader_config.')
可以看出核心是使用了tf.contrib.slim.parallel_reader这个库中的函数。看看这个函数的说明。
ef parallel_read(data_sources,
reader_class,
num_epochs=None,
num_readers=4,
reader_kwargs=None,
shuffle=True,
dtypes=None,
capacity=256,
min_after_dequeue=128,
seed=None,
scope=None):
"""
#从原始的数据文件使用多个reader获取多个record。
#并行的使用ParallelReader从多个文件读取数据
#多个readers是根据 `reader_class` 和 `reader_kwargs'进行创建的。
#如果shuffle为true，则common_queue将会是一个RandomShuffleQueue ，否则就是一个FIFOQueue.
参数说明
data_sources: 一系列的文件位置比如： /path/to/train@128, /path/to/train* or /tmp/.../train*
reader_class: 一个继承了io_ops.ReaderBase 的子类比如 TFRecordReader
num_epochs: 间隔多少次从数据源读取一次文件，如果没有给，就一直读取
num_readers: 一个整数，表示创建多少个数据读取器。
reader_kwargs: 一个可选的字典，表示of kwargs for the reader.
shuffle: 是否进行数据的打乱操作。
dtypes: 一个类型的列表，dtypes的长度一定等于每一个记录中元素的长度。如果为None，则为[tf.string, tf.string] for (key, value).
capacity: 整数，表示common_queue中需要包含多少数据.
min_after_dequeue: 一个整数，在出队后common_queue中最少的数据记录的量，和打乱有关。
seed:RandomShuffleQueue所需的随机种子.
scope: Optional name scope for the ops.
Returns:
key, value: a tuple of keys and values from the data_source.
"""
当然读取数据的最后一句话就是对获取到的信息进行解析。
return tf_example_decoder.TfExampleDecoder().decode(string_tensor)
tf_example_decoder是一个用于解析包含了序列化后的tensorflow.Exampleprotos的解析器。
def decode(self, tf_example_string_tensor):
# 解析序列化后的tensroflow example并返回一个tensor的dict
# 传入参数：一个序列化后的tensorflow example proto对象
# 传出对象： 返回的tensor的dict包含如下内容：
# fields.InputDataFields.image - 一个三维类型为uint8的tensor，其大小为[None, None, 3]表示的是图片
# fields.InputDataFields.source_id - 一个string类型的tensor包含的是图片的id
# fields.InputDataFields.key - 一个string类型的tensor，是图片的hd5码
# fields.InputDataFields.filename - 一个string类型的tensor，包含了数据库的名称
# fields.InputDataFields.groundtruth_boxes - 二维的float32的 tensor格式为
# [None, 4]包含box的四个顶点信息.
# fields.InputDataFields.groundtruth_classes - 1维的 int64型 tensor格式为shape
# [None]包含box所对应的object类型
# fields.InputDataFields.groundtruth_area - 1维的 float32 类型的tensor格式为
# [None] 包含了物品的像素掩膜信息。
# fields.InputDataFields.groundtruth_is_crowd - 1D bool tensor of shape
# [None] indicating if the boxes enclose a crowd.
# fields.InputDataFields.groundtruth_difficult - 1D bool tensor of shape
# [None] indicating if the boxes represent `difficult` instances.
# fields.InputDataFields.groundtruth_instance_masks - 3D int64 tensor of
# shape [None, None, None] containing instance masks.
# fields.InputDataFields.groundtruth_instance_classes - 1D int64 tensor
# of shape [None] containing classes for the instance masks.
serialized_example = tf.reshape(tf_example_string_tensor, shape=[])
#构建解析器
decoder = slim_example_decoder.TFExampleDecoder(self.keys_to_features,
self.items_to_handlers)
keys = decoder.list_items()
#解析
tensors = decoder.decode(serialized_example, items=keys)
tensor_dict = dict(zip(keys, tensors))
is_crowd = fields.InputDataFields.groundtruth_is_crowd
tensor_dict[is_crowd] = tf.cast(tensor_dict[is_crowd], dtype=tf.bool)
tensor_dict[fields.InputDataFields.image].set_shape([None, None, 3])
return tensor_dict
数据已经获取，接下来就是solver了。
