对于一个新问题，我们事先很难知道什么方法会表现得很好。即使是有经验的机器学习研究者在发现满意的方案之前通常也要尝试很多想法。构建一个机器学习系统，我通常：
- 首先想出一些构建系统的想法（idea）；
- 使用代码（code）实现这些想法；
-
运行试验（experiment），试验会告诉我这些想法work地如何（通常我最初的想法都不是很work）。基于这些知识，生成更多的想法，不断地迭代。
这是一个不断迭代的过程。你循环地越快，你的进展也会越快。这就是为什么开发/测试集和评估指标很重要：每次你试验一个想法，并在开发集上测试其性能，会让你更快地决定你是否在向正确的方向前进。
相反，假设你没有特定的开发集和评估指标。这样每次你的团队开发了一个新的猫分类器，你都必须把它集成到app里，并使用几个小时app以感知这个新的分类器是否有提升。这将是非常慢的！另外，如果你的团队将分类器的准确率从95.0%提升到95.1%，你可能不会通过使用app检测到这0.1%的提升。而通过0.1%的不断提升，你的系统会有很大的进步。有一个开发集和评估指标会让你快速检测哪个想法可以成功地带给你小（或大）的提升，所以可以让你快速决定哪些想法可以继续改善，哪些需要被抛弃。
