当一些数据集是由人自己创造出来的，比如bug report的summary，这里就涉及到那个人做的东西别人是否认可的问题，如果好几个人一起做，可以让他们互相对对方的结果进行agreement的评估。
2010ICSM paper：Generating natural language summaries for crosscutting source code concerns 的Gail C. Murphy她们有一篇summarize bug report的文章，可以用kappa test来衡量其agreement的程度。
这篇文章中提到对text 进行summarize的classifier的EM和EMC。基于普通的email threads和meeting data。
paired t-test用来验证2队结果是否显著不同
