深度学习中,图像在送入模型之前一般要做张量话处理,下面分析几种张量化的特点.
一般图片打开后,需要根据情况做一些变换:
通道的顺序
通过CV打开的图片,为BGR格式, 顺序为: h,w,c.
PIL打开的图片,为RGB格式, 顺序也是: h,w,c.
通过pytorch打开的,比较特殊,为c,h,w.归一化处理
归一化处理最简单的方式就是 /255.0 变成0-1之间浮点数.
也可以根据需要做均值化处理,或者变成-1-1之间数值.张量化处理
根据模型对张量的要求,使用类似:arr = arr.transpose(2, 0, 1).reshape([1, 3, 224, 224])的numpy函数做变换.最后变换成: batch,chanel,weight,height.
我的测试代码:
from PIL import Image
import torchvision.transforms as T
import numpy as np
import cv2
#
def load_data_tensor(path):
trans = T.Compose([T.Resize(224), T.CenterCrop(224), T.ToTensor()])
img = Image.open(path)
img_tensor = trans(img).unsqueeze(0)
return np.array(img_tensor)
def load_data_numpy(path):
image = Image.open(path).convert('RGB')
image = image.resize([224, 224])
arr = np.array(image).astype(np.float32) / 255.0
#arr = arr * 2.0 - 1.0
arr = arr.transpose(2, 0, 1).reshape([1, 3, 224, 224])
return arr
def load_data_cv(path):
image = cv2.imread(path)
image = cv2.cvtColor(image,cv2.COLOR_BGR2RGB)
image = cv2.resize(image,(224, 224))
arr = np.array(image).astype(np.float32) / 255.0
#arr = arr * 2.0 - 1.0
arr = arr.transpose(2, 0, 1).reshape([1, 3, 224, 224])
return arr
r0 = load_data_tensor('test_photo.jpg')
print(r0[0][0])
print('-'*50)
r1 = load_data_numpy('test_photo.jpg')
print(r1[0][0])
r2 = load_data_cv('test_photo.jpg')
image = cv2.imread('test_photo.jpg')
cv2.imshow('raw:',image)
rr0 = r0[0].transpose(1, 2, 0)
rr0 = cv2.cvtColor(rr0,cv2.COLOR_RGB2BGR)
cv2.imshow('tensor:',rr0)
rr1 = r1[0].transpose(1, 2, 0)
rr1 = cv2.cvtColor(rr1,cv2.COLOR_RGB2BGR)
cv2.imshow('numpy:',rr1)
rr2 = r2[0].transpose(1, 2, 0)
rr2 = cv2.cvtColor(rr2,cv2.COLOR_RGB2BGR)
cv2.imshow('cv:',rr2)
cv2.waitKey(0)
Screen Shot 2021-08-28 at 09.58.56.png
我测试了三种模式:
- load_data_tensor pytorch张量模式
- load_data_numpy PIL的numpy模式
- load_data_cv opencv的cv模式
调用后再复原顺序,可视化显示出来作比对:
- tensor模式使用了自动crop功能,图片没有变形
- numpy模式,逻辑清晰,比较好做进一步处理
- cv模式不知什么原因,图像比较其他的丢失了一些细节.
