1. PIL Image
通常, pytorch处理数据集用的是PIL Image的库, 通过PIL Image来读取图像文件, 然后再转成tensor送给network, 那在送入network之前的这一段都是pytorch的数据前处理部分(data preprocess), 主要是以下几个步骤
- 打开图像图像, 产生PIL image格式数据
from PIL import Image
img = Image.open('image_path')
产生的PIL_image格式数据的取值范围是[0,255]
形状(shape)是[h, w, c]
像素顺序是RGB
- 经过toTensor()之后
from torchvision.transforms import ToTensor
tensor = ToTensor()(PIL_img)
# 或者
np_data = np.asarray(PIL_img)
tensor = ToTensor()(np_data)
ToTensor()接收PIL格式的数据, 或者是直接从PIL转来的np.ndarray格式数据, 只要保证进来的数据取值范围是[0, 255], 形状是[h, w, c], 像素顺序是RGB, 它就会帮你做下面的事情
取值范围[0, 255] / 255.0 => [0, 1.0], 数据格式从int8变成了float32
形状(shape)转为[c, h, w]
像素顺序依旧是RGB
- DeblurGAN的数据预处理又多做了一步, 把[0, 1]数据范围调整到[-1, 1]
from torchvision.transforms import Normalize
tensor = Normalize((0.5, 0.5, 0.5),(0.5, 0.5, 0.5))(tensor)
(0.5,0.5,0.5)和(0.5,0.5,0.5)分别是三个通道的mean和std, ([0, 1] - mean) / std => [-1, 1]
- 前处理完成, 进入network
所以, 进入network的数据取值范围是[-1, 1]
形状(shape)是[c, h, w]
像素顺序是RGB
经过了Network的处理之后, 出来的还是一个三通道的图像, 取值范围依然是[-1, 1](在最后一步经过了clamp(-1,1)), 形状(shape)是[c, h, w], 像素顺序是RGB, 要得到可以看的图像, 那就要把前面的步骤反着再来一遍
- 从tensor获取numpy格式数据ndarray, 调整shape与PIL Image相同
import numpy as np
image_numpy = image_tensor[0].cpu().float().numpy()
image_numpy = np.transpose(image_numpy, (1, 2, 0))
transpose(image_numpy, (1, 2, 0))做的事情就是调整shape, 将形状从[h, w, c]调整到[c, h, w]
- 调整数据范围从[-1, 1] => [0, 255.0]
image_numpy = (image_numpy+ 1) / 2.0 * 255.0
这个时候的数据格式还是float32
- 将数据格式float32 => int8
import numpy as np
image_numpy.astype(np.uint8)
- 转为PIL格式
from PIL import Image
img = Image.fromarray(image_numpy）
这样, 便得到了PIL格式的输出图像, 取值范围[0,255], 数据格式uint8
形状(shape)是[h, w, c]
像素顺序是RGB
其实, 从tensor->PIL, pytorch有更方便的做法, 就是ToPILImage
#PIL-> tensor -> PIL
from torchvision.transforms import ToPILImage
PIL_img = Image.open('test_pic.jpeg')
tensor_from_PIL = ToTensor()(PIL_img)
img = ToPILImage()(tensor_from_PIL)
#PIL -> np.ndarray -> tensor -> PIL
from torchvision.transforms import ToPILImage
PIL_img = Image.open('test_pic.jpeg')
np_img = np.asarray(PIL_img)
tensor_from_np = ToTensor()(np_img)
img = ToPILImage()(tensor_from_np)
ToPILImage()会自动帮你做下面的事情
- 将每个元素*255
- float32 -> uint8
- tensor -> ndarray
- 对ndarray对象做transpose(1, 2, 0)
- 利用
Image.fromarray(ndarray)转为PIL格式
但是DeblurGAN的输出范围是[-1, 1], 如果要直接用ToPILImage(), 那在用之前要先把数据范围[-1, 1] => [0, 1]
2. Opencv
上文中, 我们一直在强调像素顺序是RGB, 其实在PIL->tensor->PIL的过程中, 像素顺序是没有变化的, 但是如果是用opencv来打开图像, 像素顺序就变成了BGR, 这点要注意
from PIL import Image
import cv2
import numpy as np
cv_img = cv2.imread('image_path')
cv2.imshow("opencv_img", cv_img)
PIL_img = Image.open('image_path')
np_img = np.asarray(PIL_img)
np_bgr_img = cv2.cvtColor(np_img, cv2.COLOR_RGB2BGR)
cv2.imshow("rgb_img", np_img)
cv2.imshow("bgr_img", np_bgr_img)
cv2.waitKey()
opencv读取出来的格式是ndarray, 取值范围[0,255], 数据格式uint8
形状(shape)是[h, w, c]
像素顺序是BGR
在上一段代码的实验中, 我们分别看opencv_img rgb_img bgr_img是以下这样的
也就是说, opencv认的图像格式是uint8, [0,255], 形状是[h, w, c], 像素顺序是BGR, 如果直接把RGB顺序的ndarray给opencv让它显示, 就会产生中间那张怪图
如果在用pytorch的时候, 图像是用opencv得到的, 那除了前面讲的那些步骤之外, 在一开始需要把cv2.imread('image_path')得到的ndarray用cv2.cvtColor(np_img, cv2.COLOR_BGR2RGB)先转成RGB顺序的格式
多说一句, 在用cv2.imread()的过程中, 出现报错
The function is not implemented. Rebuild the library with Windows, GTK+2.x or Carbon support. If you are on Ubuntu or Debian, install libgtk2.0-dev and pkg-config, then re-run cmake or configure script.
我们的opencv是用conda install opencv直接装的, 要解决这个问题, 装一下opencv-python就可以了
pip install opencv-python
Ubuntu下调用opencv的cv2.imshow()错误
参考文献
python中PIL.Image和OpenCV图像格式相互转换
Pytorch之深入torchvision.transforms.ToTensor与ToPILImage
numpy、cv2等操作图片基本操作
PyTorch载入图片后ToTensor解读（含PIL和OpenCV读取图片对比
【pytorch】图像基本操作
OpenCV、Skimage、PIL图像处理的细节差异
