为什么要用tfrecords文件格式
背景问题是深度学习的训练数据很大，这些数据要一次性加载到内存中，对硬件的要求太高。TensorFlow推荐使用tfrcords文件格式来保存数据。这种格式适合以串行方式读取大批量的数据。如果不使用tfrecords处理，那么训练集上成千上万的图片就是分散的一个个文件存放的，训练过程中要读取的时候一个个读取会非常慢。但是如果整合成若干个tfrecord文件，那么读取会变得很快。
生成、写tfrecords的具体过程
数据准备
把一个很大的训练集，比如210000张24x24的小图片，全部放大一个list中，然后转换成np.array类型的train_data中。train_data的shape是[210000，24，24，1]。把这210000张的目标结果先用list保存，如果是二分类，此时list保存的是0，1两种取值。先通过np.array 转换成[210000,1]的形状，然后通过keras.utils.to_categorical转换成onehot编码，并reshape最后得到train_labels的形状是[210000,2]
数据拆分
210000个数据原来是210000张图片，训练时一张一张读取很消耗时间。我们的目标是把210000张的数据转存到100份tfrecord文件中。这样子要读取数据的时候，就可以通过大文件的tfrecord批量读取。生成没份tfrecord的时候，这里需要用2100张数据。每张数据是24*24个浮点数据。
对于一组2100张生成一个tfrecord文件的过程
生成数据的byte表示
取出第j张24*24的浮点数据数据 data[j] 和2D向量label[j]，把这两个列表转成bytes数据img_str = np.array(data[j]).tobytes() label_str = np.array(label[j]).tobytes()。 np.array(data[j]).tobytes() 相当于把data[j]列表中的24x24个浮点数据，转换成了连续的byte表示。转换后的数据格式形式如下b"\xee\xedm?\xc0\xbf??\xd5...... 相当于把内存中的二进制表现用文本体现出来了。
组装tf.train.Example
把一张图片组装成一个example
image_example(img_str, label_str)
image_example的实现参考tensoeflow的官网
def image_example(img_str, label_str)
feature = {
'label': _bytes_feature(label),
'image_raw':_bytes_feature(img_str),
}
example = tf.train.Example(features =
tf.train.Features(feature = feature))
return example
其中_bytes_feature是把数据组装成feature的官网推荐实现
def _bytes_feature(value):
if isinstance(value, type(tf.constant(0))):
value = value.numpy()
return tf.train.Feature(bytes_list = tf.train.BytesList(value = [value]))
把组装好的example依次写入tfrecord文件
示意代码如下：
with tf.io.TFRecordWriter(filePath) as tfWriter:
for i in X_elements:
data_str = data_I.tobytes
label_str = label_I.tobytes
tfExample = image_example(data_str, label_str)
tfWriter.write(tfExample.SerializeToString())
读取tfrecord的具体过程
把所有的.tfrecords文件放到一个列表中tfrecordsFileList，通过train_data_set = tf.data.TFRecordDataset(tfrecordsFileList)来一个一个读取tfrecord文件。
tf.train.Example的用法
tf.train.Feature
tf.train.Feature的本质是一个lis, 其中list只存放三种类型数据,bytes, int64 或者 float
int_feature = tf.train.Feature(int64_list=tf.train.Int64List(value=[1, 2, 3, 4]))表示创建一个tf.train.Feature对象,对象中的list类型是int64_list类型. 数据是把value的一个普通list转换成的tf.train.Int64List类型.
bytes_feature = tf.train.Feature(bytes_list=tf.train.BytesList(value=[b"abc", b"1234"]))表示创建一个tf.train.Feature对象,对象中的list类型是byte类型. 数据是把value的一个普通list转换成的tf.train.BytesList类型.
tf.train.Features 和 tf.train.Example
通过下面的层级方式构建出的example对象, 表示这个example对象实际有3个主体列表数据.分别是一个名为my_ints的整数列表, 一个名为my_floats的浮点数列表,一个名为mybytes的bytes型列表.
example = tf.train.Example(features=tf.train.Features(feature={
'my_ints': int_feature,
'my_floats': float_feature,
'my_bytes': bytes_feature,
}))
example对象的好处就是可以调用SerializeToString()函数把example的数据进行字节序列化. 下面的例子可以说明这个特点
def serialize_example(feature0, feature1, feature2, feature3):
feature = {
'feature0': _int64_feature(feature0),
'feature1': _int64_feature(feature1),
'feature2': _bytes_feature(feature2),
'feature3': _float_feature(feature3),
}
example_proto = tf.train.Example(features=tf.train.Features(feature=feature))
return example_proto.SerializeToString()
serialized_example = serialize_example(False, 4, b'goat', 0.9876)
print(serialized_example)
在上面的代码中,serialized_example = serialize_example(False, 4, b'goat', 0.9876)把4个关联一个元素的feature (False, 4, b'goat', 0.9876) 组合成了features并放入了一个example中,通过example的SerializeToString 输出了一个连续的byte类型数据如下
b'\nR\n\x14\n\x08feature3\x12\x08\x12\x06\n\x04[\xd3|?\n\x14\n\x08feature2\x12\x08\n\x06\n\x04goat\n\x11\n\x08feature0\x12\x05\x1a\x03\n\x01\x00\n\x11\n\x08feature1\x12\x05\x1a\x03\n\x01\x04'
转换成上述的byte类型数据就方便把很多的元素数据写成文件.方便后期的读取了.这个就是tfrecord的主要思路.
