数据增强：当训练数据非常有限时，可以通过一些变换，从已有训练集去生成一些新的数据，来人工扩大训练集样本个数，从而获得更充足的训练集，使模型训练效果更好。通常可采用：水平翻转、改变对比度、随机裁剪等方式。
1. 图像编码处理
一张RGB色彩模式的图像可以看成一个三维矩阵，矩阵中每个数表示图像上不同位置、不同颜色的亮度。但是图像存储不是直接记录这些数字，而是记录压缩编码后的结果。所以要将三维图像还原成三维矩阵，还需要解码。TensorFlow提供了图像编码和解码的函数。
import matplotlib.pyplot as plt
import tensorflow as tf
import numpy as np
#读取图像的原始数据
image_raw_data = tf.gfile.FastGFile('dog.jpg','rb').read()
with tf.Session() as sess:
#对图像进行jpeg的格式解码从而得到图像对应的三维矩阵
img_data = tf.image.decode_jpeg(image_raw_data)
#img_data = tf.image.decode_png(image_raw_data) #对png格式图像解码
#解码后的结果是一个张量
print(img_data.eval())
#可视化
plt.imshow(img_data.eval())
plt.show()
图像编码处理-输出结果
2. 图像缩放
tf.image.resize_images(images, new_height, new_width, method)
神经网络输入的节点个数是固定的，所以在将图像像素作为输入提供给神经网络之前，要将图像大小进行统一。
- 双线性插值法 ResizeMethod.BILINEAR(默认设置)，对应method=0
- 最近邻插值法 NEAREST_NEIGHBOR，对应method=1
- 双立方插值法 BICUBIC，对应method=2
- 像素区域插值法 AREA，对应method=3
#处理后图像差别不大，以method=0为例
with tf.Session() as sess:
resized1 = tf.image.resize_images(img_data,[256,256],method=0)
resized1 = np.asarray(resized1.eval(),dtype="uint8")
plt.imshow(resized1)
plt.show()
图像缩放
3. 剪裁或填充后缩放
tf.image.resize_image_with_crop_or_pad(image, target_height, target_width)
如果目标图像尺寸小于原始图像尺寸，则在中心位置剪裁，反之则用黑色像素进行填充。
with tf.Session() as sess:
#对图像进行jpeg的格式解码从而得到图像对应的三维矩阵
img_data = tf.image.decode_jpeg(image_raw_data)
croped = tf.image.resize_image_with_crop_or_pad(img_data,200,200)
plt.imshow(croped.eval())
plt.show()
在中心位置裁剪
with tf.Session() as sess:
#对图像进行jpeg的格式解码从而得到图像对应的三维矩阵
img_data = tf.image.decode_jpeg(image_raw_data)
croped = tf.image.resize_image_with_crop_or_pad(img_data,800,800)
plt.imshow(croped.eval())
plt.show()
黑色像素填充
4. 随机裁剪
tf.image.random_crop(image, size, seed=None, name=None)
with tf.Session() as sess:
img_data = tf.image.decode_jpeg(image_raw_data)
random_croped = tf.random_crop(img_data,[200,200,3])
plt.imshow(random_croped.eval())
plt.show()
随机裁剪
5. 水平翻转
tf.image.flip_left_right(img_data)
with tf.Session() as sess:
img_data = tf.image.decode_jpeg(image_raw_data)
plt.imshow(img_data.eval())
plt.axis('off')
plt.show()
flip_left_right = tf.image.flip_left_right(img_data)
plt.imshow(flip_left_right.eval())
plt.axis('off')
plt.show()
水平翻转
6. 上下翻转
with tf.Session() as sess:
img_data = tf.image.decode_jpeg(image_raw_data)
plt.imshow(img_data.eval())
plt.axis('off')
plt.show()
flip_up_down = tf.image.flip_up_down(img_data)
plt.imshow(flip_up_down.eval())
plt.axis('off')
plt.show()
上下翻转
7. 改变对比度
tf.image.random_contrast
with tf.Session() as sess:
img_data = tf.image.decode_jpeg(image_raw_data)
plt.imshow(img_data.eval())
plt.show()
#将图像对比度降低至原来的二分之一
contrast = tf.image.adjust_contrast(img_data,0.5)
#将图像对比度提高至原来的5倍
#contrast = tf.image.adjust_contrast(img_data,5)
#在[lower,upper]范围随机调整图像对比度
#contrast = tf.image.random_contrast(img_data,lower=0.2,upper=3)
plt.imshow(contrast.eval())
plt.show()
对比度减半
8. 白化处理
将图像的像素值转化成零均值和单位方差
with tf.Session() as sess:
img_data = tf.image.decode_jpeg(image_raw_data)
plt.imshow(img_data.eval())
plt.show()
standardization = tf.image.per_image_standardization(img_data)
plt.imshow(np.asanyarray(standardization.eval(), dtype='uint8'))
plt.show()
白化处理
