关键点检测评价方式

1. OKS(Object Keypoint Similarity)[1]

oks是关键点检测中的一个评价指标，其中keypoint similarity指一个关键点预测结果和标注之间的相似度，其定义为，

$ks(\hat{\theta}^{(p)}_{i}, \theta^{(p)}_{i})=e^{-\frac{||\hat{\theta}^{(p)}_{i}-\theta^{(p)}_{i}||^2_2}{2s^2k^2_i}}$

其中 $\hat{\theta}^{(p)}_{i}$ 表示预测结果， $\theta^{(p)}_{i}$ 表示ground truth， $s$ 是物体（instance）的像素面积， $k_i$ 是和关键点类型相关的，也就是说即使距离相同，不同关键点其ks是不一样的。上面的公式中，相似度和距离呈反比，和 $k_{i}$ 呈正比，和面积也呈正比。

$OKS(\hat{\theta}^{(p)}, \theta^{(p)})=\frac{\Sigma_{i}ks(\hat{\theta}^{(p)}_{i}, \theta^{(p)}_{i})\delta(v_{i}>0)}{\Sigma_{i}\delta(v_{i}>0)}$

关键点影响因子 $k_{i}$ 是从5000张标注图片中计算得到的， $v_{i}=0$ 表示关键点未标注， $v_{i}=1$ 表示关键点有遮挡但已经标注， $v_{i}=2$ 表示关键点无遮挡且已标注。 $\delta(\cdot )$ 在条件成立时为1否则为0

在评估一个算法时，先找出所有ground truth oks最大的预测点，然后OKS的阈值变化从0.5-0.95，大于阈值的认为时True Positive，否则是False Positive，而没有匹配的gt关键点认为是False Negative，即可以得到AP（图像级别的计算AP）。

2，PCK(Probability of Correct Keypoint)[2][3]

pck是在oks之前广泛使用的关键点检测评价指标，是以关键点为单位计算的指标。对于一个检测器 $d_{0}$ 来说其PCK为

$PCK^{p}_{\sigma}(d_{0}):=\frac{1}{|\tau|}\Sigma_{\tau}\delta(||x_{p}^{f}-y_{p}^{f}||_{2}<\sigma)$

$d_{0}$ 表示关键点检测器， $\sigma$ 表示关键点是否和gt匹配的阈值。 $\tau$ 表示测试集合， $x_{p}^{f}$ 表示检测器预测位置，而 $y_{p}^{f}$ 表示其gt。一般来说人体关键点检测中 $\sigma$ 取值为人头像素scale的0.1、0.2、0.3...分别计算得到不通阈值下的pck，同理也可以卡不通的阈值来获取AP

3，Accuracy

这个指标计算和PCK类似，不过其参考的scale是输入图片的大小，因此指标并不是归一化的，关键点最小框面积占输入图片面积越小这个指标越低，仅仅用作训练时的一个参考指标

[1] Matteo Ruggero Ronchi, Pietro Perona. Benchmarking and Error Diagnosis in Multi-Instance Pose Estimation. ICCV, 2017.

[2] Leonid Pishchulin, Eldar Insafutdinov et.al. DeepCut: Joint Subset Partition and Labeling for Multi Person Pose Estimation. CVPR, 2016.

[3] Tomas Simon, Hanbyul Joo et.al. Hand Keypoint Detection in Single Images using Multiview Bootstrapping. CVPR, 2017.

最后编辑于：2019.08.14 21:02:14