JPEG压缩原理以及哈夫曼算法
JPEG作为目前最常见的图片格式之一,其压缩算法可以将图像大小压缩到原来的十分之一,同时保持相同的分辨率和非常高的质量。
为什么JPEG如此重要?
1.目前大多数手机和相机拍摄的图像都是使用JPEG格式来进行保存的;
2.网络上传播和下载的大部分图片的格式,JPEG格式的占比在80%以上;
3.视频中目前比较流行的H.264和H.265,在单帧图像的处理上,也采用了类似JPEG的算法。
JPEG做了什么?
简言之,JPEG会分析图片的每个部分,找到并删除人眼不易察觉的元素,只记录关键像素点的信息。如下图的眉毛、眼睛、鼻子的区域,其他如纯色的地方只是用算法做个标记,在查看的时候再进行还原。
[图片上传失败...(image-5bbbf2-1675585762280)]
在使用JPEG算法压缩图片时,有一个“质量”的选项可以用于决定压缩的程度,压缩的程度越高,图像的质量也就越低,同时图片的分辨率是没有改变的,但我们也会得到越来越多的有缺陷的方块,在技术上称之为“膺像”。
[图片上传失败...(image-4d5185-1675585762280)]
JPEG的工作原理
人眼由于视杆细胞(明暗)的数量远远大于视锥细胞(颜色),所以人眼对于图像的明暗程度的感知能力要远远高于色度,JPEG正是利用了人眼这个特殊的工作原理,来移除了人眼不擅长感知的部分。
[图片上传失败...(image-424ca2-1675585762280)]
以下面2张完全相同的郁金香图片为例,左边分别是只有色度信息和亮度信息的图像,右边是正常图像:
[图片上传失败...(image-cdc089-1675585762280)]
可以看到,左边图像中只有色度信息的部分细节相比于黑白图像细节明显减少,这也是我们人眼的特点,因为是视杆细胞数量是视锥细胞的数十倍。
JPEG的工作流程
1.Color Space Conversion 色彩空间转换
原始图像(8位色深)的每一个像素都是由数值从0~255(2^8=256)的红R、绿G、蓝B成分组成,每一组不同的RGB值就构成了单一像素的颜色:
[图片上传失败...(image-d7c13c-1675585762280)]
色彩空间转换的过程中,算法会根据公式将R、G、B三个值计算得出三个新的数值亮度Y、蓝色色度Cb、红色色度Cr,计算的公式和结果如下:
[图片上传失败...(image-5dbdde-1675585762280)]
值得一提的是,这个过程是可逆的,在转换过程中没有删除任何数据。
2.Chrominance Downsampling 色度缩减取样
这个过程中,将Cb和Cr色度分量层上的像素按照2*2的组合进行区块划分:
[图片上传失败...(image-d9d394-1675585762280)]
然后计算每个区域的色度平均值:
[图片上传失败...(image-7e54bc-1675585762280)]
然后删掉重复信息:
[图片上传失败...(image-2d925f-1675585762280)]
最后缩小区域大小为原来的1/4,经过这一步骤,那些人眼不易感知的红蓝色度信息被缩减为原来的1/4,而亮度保持不变。注意,此时图像的大小就只有原来的一半了(缩减取样前:1Y+1Cb+1Cr = 3,取样后:1Y+1/4Cb+1/4Cr = 1.5),后面当我们查看图像时,红蓝色度图层会放大到跟亮度图层一样的大小,并根据Y、Cb、Cr的值重新计算出RGB的值用以显示。注意,这个操作是会删除一定的色度信息的,并且由于各个像素点的亮度可能不同,所以重新计算的各个像素上的RGB值也有可能会变化,但取平均值而不是最大或最小值也使得画面总体上更加的平滑。
PS:接下来的步骤3、4是连贯的,同时也会删除信息,它们是利用人眼不擅长感知图像中的高频率元素的特征来实现的,例如下面这张复杂的树木照片:
[图片上传失败...(image-e8425a-1675585762280)]
人眼比较善于发现如树枝、岩石等的边缘,但是对于单片树叶、一簇草地等的阴影变化,人眼无法甄别其中的细节;而且对于景深比较浅的图片,在虚化的部分移除高频率的颜色变化操作也是人眼难以察觉的。
步骤3、4会遍历图像的各个部分,找到具有高频率的色度或亮度的像素频繁出现的区域,然后将这些人眼很难感知的元素删除。
3.Discrete Cosine Transform 离散余弦变换(DCT)
以亮度图层为例(当然另外两个色度图层也会经历这一步),第一步,先将整个图像按8*8个像素分为许多“区块”,每个区块有64个像素,每个像素用0-255的数值代表其亮度:
[图片上传失败...(image-81fcf8-1675585762280)]
接下来,我们将每一个像素的亮度值减去128,改变其亮度值为-128~127,其中-128为纯黑色,越接近-128就代表着一个像素越暗;127为纯白色,越接近127就越亮。
[图片上传失败...(image-249221-1675585762280)]
其