capstone-report疑问:Benchmark和Metrics的区别

(一)

看这个【开题报告模板】中的 Benchmark Model 和 Evaluation Metrics
https://github.com/nd009/capstone/blob/master/capstone_proposal_template.md

以及完整的【项目报告模板】
https://github.com/nd009/capstone/blob/master/capstone_report_template.md

(二)

然后对比这个范例报告(文本分类),搜索 Metrics 和 Benchmark 即可
http://cn-static.udacity.com/mlnd/Capstone_Poject_Sample01.pdf

如果我没理解错,这份报告中:

  • metrics 选择的是「精确度」和「时间」
  • benchmark 选择的是斯坦福的结果,在此基础上限定了「偏差」和「方差」

再看这个范例报告(图像识别):看 1.3评价指标 和 2.3基准指标
https://github.com/nd009/capstone/blob/master/report-example-1.pdf

如果我没理解错,这份报告中:

  • metrics 是给了指标
  • benchmark 则给出了几个历史实现及对应的 metrics 结果

(三)

所以 benchmark 和 metrics 到底分别是要写什么,究竟是(1)还是(2)还是(3):

(1)

  • 这两部分的内容都分别指定了几个指标,而 Metrics 仅指定了几个恰当的指标,并不再考虑更多;
  • Benchmark 除了指定部分指标外,更重要的是找到其数据集、实现、评估方法等与我项目中的对应项具备可比性的模型(或模型计算结果?)
  • 若两部分中都要选定一些指标,那么把哪些指标放在 Benchmark 中,哪些放在 Metrics 中?

(2)

  • 仅仅由 metrics 点出指标
  • Benchmark 只要说明有哪些可比较的历史实现以及历史实现的结果

(3)

上述两个想法都不对……

最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容