第一部分：数据准备-建立合适的开发集和测试集

1. 从相同的分布中选择开发集和测试集，且开发集和测试集数据需要与你预期的算法使用场景保持一致。这样开发集能够更好的指导团队的改进优化方向，测试集能真正衡量算法在实际场景中的性能。开发集和测试集的分布可以与训练数据不同。

2. 选定一个数值型的评估标准作为团队的优化方向。如果存在多个目标，那么可以考虑：1. 合并成一个（如求平均误差）标准；或者，定义一个优化目标和多个满足目标（如运行时间和模型尺寸）。

3. 在开始一个新项目的时候，可以试着在一周内快速确定开发集/测试集以及优化目标。对于较为成熟的项目，这个时间可以更长一些。

4. 开发集需要足够大，以保证能够区分出算法精确度的差异，但是也不必非常大。测试集也需要足够大，能够使你对算法的最终性能有信心。

5. 如果开发集和优化指标，不再能够给团队指明正确的方向，那么需要快速改变他们：

（i）如果开发集过拟合，那么需要获取更多的验证数据。

（ii）如果真实场景的数据与开发集/测试集数据不符，则获取更多的开发集/测试集数据。

（iii）如果优化目标不再能够反映团队当前的目标，则修改优化目标。