《深度学习在自动视觉检测中的血泪史》说了,要在制造业大规模推广Deep Learning算法,必须有一个超级好学好用易用的Deep Learning GUI.
这个GUI必须很好的包括深度学习调参策略:
1, 调参正交化
2,单一数字评估指标(Single number evaluation metric)。
3,若有多个评估指标,例如N个metric,要确定一个是用于优化的指标,Optimizing Metric, 其余的N-1个是只要满足门限要求即可的指标(Satisficing Metric)。例如,可以把识别的准确率Accuracy列为优化指标,运行时间(running time)列为 满足门限要求即可的指标,eg, running_time < 100ms
4,确保Dev set 和 test set 来自同一分布
5, 测试集和开发集的大小
Size of test set: Set your test set to be big enough to give high confidence in the overall performance of your system
令你的测试集足够大,能够以高置信度评估系统整体性能。
Size of dev set: Set your dev set to be big enough to detect the differences in algorithms/models you're trying out
令你的开发集足够大,能够评估算法和模型的不同性能。Dev set主要用于评估不同的算法设计方案
6, 首先使得算法在训练集Ok,然后开发集Ok,然后测试集Ok,然后在应用程序中Ok;最终目标是跑在应用程序(Application)中Ok