线程队列与IO操作
记录，成为更好的自己
1. 队列和线程
2. 文件读取
3. 图片处理
2. 文件读取
1. 文件读取流程
- 构造一个文件队列，把路径+文件放入队列中
- 读取队列内容，不同的文件有不同的读取方式。
- csv文件：默认读取一行
- 二进制文件：指定一个样本的bytes
- 图片文件：按一张一张的读取
- 解码，读取一个样本的内容
- 批处理
2. 文件读取API
-
构造文件队列
- tf.train.string_input_producer(string_tensor, shuffle=True)
- 将输出字符串（例如文件名）输入到管道队列
- string_tensor:含有文件名的1阶张量（就相当于是一个列表，里面放的是每个文件的名字，注意要加路径）
- shuffle：读取的时候乱不乱，乱也没有关系
- num_epochs:过几遍数据，默认无限过数据
- return：具有输出字符串的队列
-
文件阅读器
根据文件格式，选择相应的文件阅读器
- class tf.TestLineReader
- 阅读文本文件逗号分隔值（CSV）格式，默认按行读取
- return：读取器实例
- tf.FixedLengthRecordReader(record_bytes)
- 要读取每个记录是固定数量字节二进制文件，每个样本占多少个自己去读取。
- record_bytes:整型，指定每次读取的字节数
- return：读取器实例
- tf.TFRecordReader
- 读取TfRecords文件
有一个共同的读取方法：
- read(file_queue):从队列中指定数量内容，返回一个Tensors元祖（key文件名，value默认的内容（行，字节））
- class tf.TestLineReader
-
文件内容解码器
从文件中读取的是字符串，需要函数去解析这些字符串到张量
- tf.decode_csv(records, record_defaults=None, field_delim=None, name=None)
将CSV转换为张量，与tf.TextLineReader搭配使用- records:tensor型字符串，每个字符串是CSV中的记录行，就是刚刚读出来的value
- field_delim:默认分割符“，”
- record_defaults:参数决定了所得张量的类型，并设置一个值在输入字符串中缺少使用默认值。如：
- tf.decode_raw(bytes, out_type,little_endian=None,name=None)
- 将字节装换为一个数字向量表示，字节为一个字符串类型的张量，与函数tf.FixedLengthRecordReader搭配使用，二进制读取为uint8格式
- tf.decode_csv(records, record_defaults=None, field_delim=None, name=None)
- 开启线程操作
- tf.train.start_queue_runners(sess=None,coord=None)
- 收集所有图中的队列线程，并启动线程
- sess:所在的会话中
- coord：线程协调器
- return：返回所有线程队列
- tf.train.start_queue_runners(sess=None,coord=None)
- 管道读端批处理
- tf.train.batch(tensor,batch_size, num_threads=1,capacity=32,name=None)
- 读取指定大小（个数）的张量
- tensor:可以是包含张量的列表
- batch_size:从队列中读取的批处理大小
- num_threads：进入队列的线程数
- capacity：整数，队列中元素的最大数量
- return:tensors
- tf.train.batch(tensor,batch_size, num_threads=1,capacity=32,name=None)
文件读取案例
CSV文件读取
1. 先找到文件，构造一个列表
2. 构造文件队列
3. 构造阅读器，读取队列内容
4. 解码内容
5. 批处理（多个样本）
```
def csvread(filelist):
"""
读取CSV文件
:param filelist:文件路径+名字的列表
:return: 读取的内容
"""
# 1. 构造文件的列表
file_queue = tf.train.string_input_producer(filelist)
# 2. 构造阅读器
reader = tf.TextLineReader()
key ,value = reader.read(file_queue)
# print(value)
# 3. 对每行内容进行解码
# record_defaults:指定每一个样本的每一列的类型，还可以指定默认值
records = [["None"],["None"]] #这里有两列，指定两个
example, label = tf.decode_csv(value, record_defaults=records)
# print(example, label)
# 4. 读取多个数据，进行批处理
# 批处理大小（batch_size）跟队列，数据的数量没有影响，只决定 这批次取多少数据
example_batch, label_batch = tf.train.batch([example, label], batch_size=9 , num_threads=1,capacity=9)
return example_batch, label_batch
if __name__=="__main__":
# 1. 找到文件，放入列表
file_name = os.listdir("./data/csvdata")
filelist = [os.path.join("./data/csvdata",file) for file in file_name]
# print(file_name)
example_batch, label_batch = csvread(filelist)
# 开启会话
with tf.Session() as sess:
# 开启线程协调器
coord = tf.train.Coordinator()
# 开启读取文件的线程
threads = tf.train.start_queue_runners(sess, coord=coord)
# 打印读取内容
print(sess.run([example_batch, label_batch]))
# 回收子线程
coord.request_stop()
coord.join(threads)
```
