下载地址

https://www.cs.cmu.edu/~glai1/data/race/

论文地址

Race: Large-scale reading comprehension dataset from examinations

github地址

https://github.com/qizhex/RACE_AR_baselines

数据集说明

简要介绍

该数据集来自中国12-18岁之间的初中和高中英语考试阅读理解，包含28,000个短文、接近100,000个问题。包含用于评估学生理解能力的多种多样的主题。该数据集中的问题中需要推理的比例比其他数据集更高，也就是说，精度更高、难度更大。

数据示例

相关指标

阅读理解任务中，该数据集的天花板是：95%，论文发表时，模型最好效果：43%，目前最好效果已达到90.9%（近两年进展神速）

问题的推理类型

1.词匹配
2.释义
3.单句推理
4.多句推理
5.不恰当的/有歧义的：问题无答案或者基于给定的短文，答案不唯一
各推理类型所占比例：（随机选择100个短文共500个问题，找人标注）

推理类型细分

1.内容推理
2.全文理解
3.文章总结
4.态度分析
5.外部知识（world knowledge）

相关实验

论文在RACE和其他数据集中进行了阅读理解任务的实验，可以看到，各个模型在RACE上的效果通常低于其他数据集，说明了该数据集的难度更大，更有挑战。

上图是部分模型在不同推理类型的问题上的效果

其他

带有不同推理类型标签的数据好像没有开放
其他信息也可参考：https://www.zybuluo.com/songying/note/1312964