这是一个常见的问题。简短的答案是，不同超参数的效果取决于数据。因此，不存在必须遵循的规则，您需要对自己的数据进行测试。即便如此，我们仍在下面列出了几条可为您提供指导的经验法则：
1. 训练误差应该稳步减小，刚开始是急剧减小，最终应随着训练收敛达到平稳状态。
2. 如果训练尚未收敛，尝试运行更长的时间。
3. 如果训练误差减小速度过慢，则提高学习速率也许有助于加快其减小速度。 但有时如果学习速率过高，训练误差的减小速度反而会变慢。
4. 如果训练误差变化很大，尝试降低学习速率。 较低的学习速率和较大的步数/较大的批量大小通常是不错的组合。
5. 批量大小过小也会导致不稳定情况。不妨先尝试 100 或 1000 等较大的值，然后逐渐减小值的大小，直到出现性能降低的情况。
重申一下，切勿严格遵循这些经验法则，因为效果取决于数据。请始终进行试验和验证。
