What do different evaluation metrics tell us about saliency models?

Related Work

1. 机器视觉的评价矩阵。图像由特征分布表示，特征包括：低等特征（如edges (texture), shape and color）和高等特征（如objects, object parts, and bags of low level features）

2. 显著性的评价矩阵。

Evaluation Setup

1. 数据采集。

MIT Saliency Benchmark dataset (MIT300)

two seconds - elicits 4-6 fixations

participant distance to the eye tracker, calibration error, and image size

the number of eye fixations collected

2. Ground Truth

只考虑空间，不考虑时序（noiser）。一种是使用原始的fixation points（类sample），称为location-based。

另一种是把离散的fixation points平滑化生成fixation map，称为distribution-based。Smooth成为一种正则化，增加了ground truth的容错性。但同时对参数选择有要求。

METRIC COMPUTATION

1. Location-based

Area under ROC Curve (AUC):Evaluating saliency as a classifier of fixations

AUC是ROC曲线下面积。ROC测量需要计算真阳和假阳值。

计算true positive和false positive

true positive rate (TP rate)：true positives to the total number of fixations. saliency map values above threshold at fixated pixels.

false positive rate (FP rate): false positives to the total number of saliency map pixels at a given threshold, where false positives are saliency map values above threshold at unfixated pixels.

AUC-Borji: uses a uniform random sample of image pixels as negatives and defines the saliency map values above threshold at these pixels as false positives.

Penalizing models for center bias

sAUC：不采取随机采样的方式，而是根据其他image的fixation来采样。自然的，就会有关于中心的高斯分布。所以特别惩罚有中心basis的Model？？？什么玩意儿？

Invariance to monotonic transformations

AUC是变化Saliency map的threshold来得到ROC曲线的，低threshold看覆盖相似度，高threshold看峰值。在fixation点有高预测值的model更能获得高AUC值。

Normalized Scanpath Saliency (NSS): Measuring the normalized saliency at fixations

a saliency map P and a binary map of fixation locations Q^B。正值代表一致性，负值代表不一致

所有的false positives（合法的判为非法）都会降低每个fixation location的归一化Saliency map值，进而降低整体NSS得分。

Information Gain (IG): Evaluating information gain over a baseline

求信息增益

2. Distribution-based

Similarity (SIM): Measuring the intersection between distributions

先对ground truth和Saliency map进行normalization，然后对每个像素点取两者的最小值，求和。若SIM值为1，说明两者分布相同，若为0，说明没有overlap。该metric对missing value非常敏感。

Effect of blur on model performance:

由fixation location得到distribution时采用高斯模糊，此时高斯sigma非常重要。就算能预测到fixation point的准确值，SIM分也随测试Model的sigma而快速改变，当两者相等时SIM分达到极大值。

false negative（非法判断为合法）相较于false positive更容易被惩罚。(???

Pearson’s Correlation Coefficient (CC): Evaluating the linear relationship between distributions

Kullback-Leibler divergence (KL): Evaluating saliency with a probabilistic interpretation

如果Q是一个非零值，而P是零或者接近零的数。那么KL会加上一个非常大的值。稀疏集会受惩罚。