1. BLEU
1.1 N-gram precision
观察如下示例：candidate1的1-gram precision为17/18，candidate2的1-gram precision为8/14.
1.2 Modified n-gram precision
对于下面的例句，其1-gram precision为7/7=1，显然这不是一个完整的句子，因此，这是不合理的。考虑改进的n-gram precision，如果一个unigram在reference sentence中已经被匹配过一次，则不会进行第二次匹配。
因此，修正过的n-gram precision，考虑了这一因素，
其中，
这样，candidate的modified 1-gram precision为2/7，而不是7/7.
1.3 Sentence brevity penalty
对于某些很短的句子，如下面的例句，虽然不能构成完整的有意义的一句话，但是由于它的所有unigram都可以在reference sentences中得到匹配，因此它的modified n-gram precision为1。考虑到这一因素，我们需要引入一个brevity penalty factor，对过于短的句子进行惩罚。
1.4 BLEU metrics
综合以上因素，得到BLEU的计算公式为：
一般，我们将N取到4. BLEU值越大，说明生成的句子越好。
2. ROUGE-L
不同于BLEU只考虑了precision，ROUGE是基于recall的相似度计算方法。
2.1 LCS（最长公共子序列）
2.2 ROUGE-L
3. METEOR
3.1 创建alignment
根据以下准则创建candidate到reference的unigram之间的alignment：
1）每个candidate的unigram只能映射到0-1个reference的unigram
2）Unigram map criteria
Exact：只有两个unigram完全相同时可以进行映射
Porter stem：两个unigram为同根词时可以进行映射，如“computers”和“computer”
WN synonymy：两个unigram为同义词时可以进行映射。
一般情况下，首先考虑exact，其次为porter stem，最后为WN synonymy。
3）如果存在多种映射方式构成一个alignment，则选择有最少交叉映射数量的映射方式
3.2 F-mean
得到candidate和reference的unigram-alignment之后，计算它们的precision和recall，得到F-mean：
3.3 惩罚系数
考虑到如下的序列，ABCD和BDAC，虽然每个unigram都可以匹配上，但顺序完全不同，因此，引入一个惩罚系数，对这种不连续的情况进行处理。
Chunk：连续且匹配的语句块，最小长度为1
4. CIDEr
4.1 TF-IDF
在所有Image对应的reference senteces中频繁出现的n-gram，很可能是包含信息量很少的没有意义的词，应该给予更小的权重。因此，计算TF-IDF作为第k个n-gram的权重
4.2 CIDEr
将所有的n-gram得到的权重排在一起，可以得到一个向量。计算candidate和reference的余弦距离，得到CIDErn。
一般，N取到4
参考文献
1. BLEU: a Method for Automatic Evaluation of Machine Translation
2. METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments
3. CIDEr: Consensus-based Image Description Evaluation
