之前做 ISP 时整理的东西。
从 sensor 角度对比
Imatest 可以通过读取 RAW 图测量 Lens+sensor 的图像性能，可以在此测量 Sharpness, distortion, vignetting, Lateral Chromatic Aberration, noise, and dynamic range
功耗 (Power Consumpation)
- 对比正常工作时的功率，越低越好
保证 sensor 输出图像分辨率一直的前提下，单独测量 sensor 的供电功率；简单地也可以直接对比搭载平台时总功率的差异。一般而言与 Datasheet 中给出的参考值不太大出入
灵敏度 (Sensitivity)
- 通俗而言即为 sensor 的感光强度，单位为 V/Lux-sec
sensor 对于不同波长的响应不一致，但很少在 Datasheet 中说明，需自行向厂家索取。当考虑到红外夜视应用时，应格外注意该 sensor 对红外线的响应
动态范围(Dynamic Range)
- 查看 sensor 支持的最大增益范围，越高越好
一般而言模拟增益范围较大的 sensor 会好于较低的。优先级：曝光增益 > 模拟增益 > 数字增益。而曝光时间上限大都满足 EXPMAX = 1/FPS，再高会降帧（极个别 sensor 可能支持超帧曝光），所以增益上主要取决于模拟增益大小，比如 IMX291的模拟增益可以到 30 dB
从镜头角度对比
镜头只能通过对同一静止画面的拍摄结果作比较
镜片数
- 镜头数量在允许范围内越多越好
镜头会滤除红外线，所以要注意红外夜视应用场合（待确认-引自ccm99.com），玻璃片会滤除紫外线，5G1P：5层玻璃(Glass)镜头+1层塑料(Plastic)镜片
镜头锐度 (Lens sharpness)
镜头锐度 (Lens sharpness) 受限于两个方面 镜头畸变 (Lens Distortion) 和 衍射 (Diffraction)。
镜头畸变 (Lens Distortion)
光学系统内的不一致性会造成一系列问题，不同波长的光线会有不同的折射率、球形玻璃对呈现清晰的大视场图像显得无能为力、不通过镜头中心的光线对应的焦距不一样，等等。在复杂的镜头设计和制造中 畸变矫正 是主要目标。这就区别了卓越与平庸的光学设计。
- 镜头孔径越大 (small f-numbers)，畸变显得越糟糕
- 镜头间的畸变程度在很大程度上不一样（即使是同一批次的不同镜头）
- 大批量镜头生产的质控通常十分草率
衍射 (Diffraction)
衍射：模糊图像一个基本物理属性，产生衍射的原因是光线在物体边界折射。
- 镜头孔径越小(large f-numbers)，衍射现象模糊图像程度越厉害
镜头的 f-stop number = 焦距 / 孔径，典型的 f-stop 队列 {1, 1.4, 2, 2.8, 4, 5.6, 8, 11, 16, 22, 32, 45, 64, ...}，比值为 aqrt(2) 的等比数列。
When a photographer says, “I increased the exposure by one f-stop”, he means he went down the sequence by one step, e.g., changed the aperture from f/8 to f/5.6. （保持焦距不变，改变孔径大小）
综上两个现象，镜头应当存在一个最优孔径，使得锐化效果最佳，典型大约为 2-3 倍 f-stops，小于最大孔径
眩光 (Veiling Glare)
图像质量
Reference: Imatest-Image Quality Factors
影响图像质量的因素：
- Lens
- sensor
- ISP pipeline
锐度 (Sharpness)
- 锐度表现在两个不同色调之间的边界，所有的镜头（即使是最好的）都会在一定程度上使图像模糊，只是差的镜头模糊得更厉害。
通常在频域上进行测量，常用的有 调制传递函数 (MTF: Modulation Transfer Function) 和 空间频率响应 (SFR: Spatial Frequency Response)
由于锐化程度的优良因人而异，所以经验性的取当 MTF 为 低频值或峰值的 50% 为最佳，即常见的 MTF50 或 MTF50P。取该值原因基于以下两点：
- 图像对比度为低频或峰值的一半时其细节仍相当明显，并且人眼对 MTF 值为 10% 或更低时的细节没有差异
- 绝大部分相机在 MTF50 或 MTF50P 附近的响应快速下降，MTF50P is a better metric for strongly sharpened cameras that have “halos” near edges and corresponding peaks in their MTF response.
在手机 AF (Auto Focus) 算法实现中便是基于该值
MTF(f) = 100% C(f) / C(0)
C(f) = (Vmax - Vmin) / (Vmax + Vmin)
Imatest 有三个模块使用斜边来测量 MTF：SFR, SFRplus, eSFR ISO
蓝红色线条表明两个旧 ISO-12233 chart 图上有用的区域（约 5.7° 倾角）
斜边测量有如下优点：
- 不存在严格意义上的测量物距；在计算 MTF时应不需要将其纳入考虑。
- 比正弦图案占用更少的空间并且对噪声不敏感。
- 由于装填 / 过采样算法，MTF 得以在 Nyquist frequency (0.5 cycles / pixel) 之上测量
| 测量图案 | 优缺点 |
|---|---|
| Slanted-edge (SFR, SFRplus, eSFRISO, SFRreg, Checkerboard) | 空间利用率高 |
| Log frequency | 噪声敏感 |
| Log f-Contrast | 噪声敏感 |
| Siemens star | 低频信息有限 |
| Dead Leaves (Spilled Coins) | 噪声即为敏感，需要额外算法优化 |
| Random (scale-invariant) | 锐度敏感 |
| Wedge | 不适合 MTF 测量 |
空间频率单位 (Spatial frequency units)
与时间频率类似，单位定义：周期数每单位长度 (cycles or line pairs per distance)，具体单位取决于应用
- 电影相机镜头测试：line pairs per millimeter (lp/mm)；因为大多数
35 mm的电影相机都用24x36 mm尺寸的图像 - 通用相机测试：Line widths per picture height (LW/PH)，LW/PH = 2(lp/mm)(picture height in mm)，用于测量镜头可捕获的所有细节；由于 digital sensor 的尺寸多样，有从
5 mm对角线的拍照手机到43 mm对角线的全帧单反相机 - 单像素利用率指标：cycles per pixel(C/P)；Nyquist 频率 fNyq 恒为 0.5 C/P.
NOTE: 1 Cycle = 1 Line Pair (LP) = 2 Line Widths
Imatest SFR, SFRplus, eSFR ISO, SFRreg, and Checkerboard results
- 左上：一条黑色的窄带表明平均边缘的色调，对应于其下面的平均边缘轮廓图
- 左中：线性表示平均边缘轮廓，一个最重要的参数边沿上升距离(10%-90%)，用像素数或边沿上升距离数每图像高度来表示
- 左下：2 * Nyquist Frequency 的空间频谱；该图可以确定 MTF50 值，及 Nyquist Frequency 下的 MTF 值（来确定混叠程度）
- 四条曲线分别为 R, G, B, Y 通道，Y 通道为黑色，四条曲线的偏离程度表示色差 (CA, Chromatic Aberration)，最底下的紫红虚线表示 色差曲线，如下表所示
CA = 0.259 pixelsMTF50P和MTF50的大小关系被用来判定图像是否适度锐化
| 关系 | 锐化指标 |
|---|---|
| MTF50P = MTF50 | moderately sharpening |
| MTF50P < MTF50 | poorly-sharpening |
| MTF50P > MTF50 | over-sharpening |
如下图所示的相机明显锐化过头了 (over-sharpening)，在图像中表示为有一个小脉冲
| MTF50 in Line Width / inch on the print | Quality level— after post-processing, which may include some additional sharpening |
|---|---|
| 150 | Excellent — Extremely sharp at any viewing distance. About as sharp as most inkjet printers can print. |
| 110 | Very good — Large prints (A3 or 13×19 inch) look excellent, though they won’t look perfect under a magnifier. Small prints still look very good. |
| 80 | Good — Large prints look OK when viewed from normal distances, but somewhat soft when examined closely. Small prints look soft— adequate, perhaps, for the “average” consumer, but definitely not “crisp.” |
噪声 (Noise)
降噪
修正切趾法 (modified apodization) 是一个有效的降噪方法，应用于 Imatest 斜边测量 (SFR, SFRplus, eSFR ISO, SFRreg, and Checkerboard)。该项技术几乎不影响低噪图像，而对噪声图像的测量精度有显著性地提升，尤其在高空间频率 (f > Nyquist / 2)。当在 SFR 输入对话框 或者 Rescharts 的更多设置里勾选了 MTF noise reduction (modified apodization) 复选框，启用该功能。默认总是启用。
我们仍推荐启用该功能，尽管 ISO 12233 标准 并为规定如此。但也可以通过勾选左下角的 ISO 标准 来取消。
奇怪的术语切趾法来源于 Joseph D. LaVeigne, Stephen D. Burks, and Brian Nehring 等人对 计算 MTF 时傅里叶变换的比较。
基本假设：所有重要的细节在于边缘附近
原始的方法：离边缘的距离超过一定值后，将线性扩展函数 (Line Spread Function, LSF)设为0。
修正的方法：将线性扩展函数 (Line Spread Function, LSF)变得平滑。优点：对低频响应的影响更小，允许更紧凑的边界来达到更好的降噪效果
