丹者，天地之精也，混有万物之规则。炼丹者，以GPU为铜炉，求数据之精而得大道之形哲也，其中有道，不可不察。
又有古仙云：欲炼丹者，财地法侣为第一要务，往来者不可不知矣。
有贤者传丹道于世，吾辑录之。贤者云：炼丹火候为上，此文为火候之选择。
搜索空间
首先要确定你的搜索空间是什么？你要选择
- 怎么样的模型
- 根据自己的财务状况（也就是你能拥有的CPU和GPU以及可以有的内存，乃至模型运行的时间）来选择合适的模型
- 怎么样的学习率
- 最好是取log-uniform（1e-6,1e-1)，这样的话取到的参数就能指数级取，不会只能取到很小的一个区间
- 多大的批次大小
- 取到2的某次方，主要是为了做计算的时候方便一点
- monentum
- 如果衰减速度太快，收敛就会停滞。 相反，如果太宽松，我们可能无法收敛到最优解。（优化算法之中的一个值）要均匀的取值
- weight decay
- 权重衰减的程度，还是log-uniform，随机梯度下降里面的一个值
- detector
- 目标检测的时候用的是什么算法
搜索空间不要太大，太大会导致money的问题。也不能太小，太小可能没结果。
image.png
HPO算法（超参数优化算法）：黑盒Black-box或者Multi-fidelity
- Black-box:treats a training job as a black-box in HPO:
- Completes the training process for each trial
- 不管怎么优化，直接丢进去一组超参数然后训练完成，然后看进去n组超参数然后比较哪个效果好
- 黑盒优化算法
- Grid Search
- Random Search
- Bayesian Optimization
- Simulated Annealing
- Genetic Algorithms
- Multi-fidelity:modifies the training job to speed up the search
- 还是money和机会成本的问题，直接训练完太花时间了，关心哪个超参数比其他参数要好，所以要对超参数进行排序，选择和理论上最好的超参数的近似进行真正的实验，有下面三种方法
- Train on subsampled datasets
- 也就是只选取一部分样本进行训练，然后选择比较好的超参数进行全部的样本进行真正的训练
- Reduce model size (e.g less #layers,#channels)
- 把模型变小，不用那么多层的深度学习模型，而是选小点的，然后进行训练找到最优的模型或者把数据缩放，比如把大的图片变成小图片
- Stop bad configuration earlier
- 不训练那么多遍，只需要训练一次，也就是不需要那么多的epoch，估计一下这个超参数ok不ok
黑盒优化算法
- Grid Search
其实就是一个暴力循环搜索。优点是能够找到最好值，但是缺点就是任务很大的时候有维度的诅咒（当然对于money来说这些不是问题）
for comfig in search_space:
train_and_eval(config)
return best_result
- Random Search
在自己config list里面随机选择一些config，至于是怎么随机选择，其实首先就是按照上面那张图，比如取log，指数级选择等等步骤后获取一系列的超参数列表,然后随机选择一组超参数，然后获取最好的超参数，n确定了这个运行次数是有限的，注意不要太大也不要太小，n甚至都不需要选择，只需要比如知道自己要训练多久，比如24h，过了24h就停掉，或者观察自己的AUC（分类，如果是回归的话就是R的平方之类的）有没有随着参数随着时间的变化趋于平缓，如果平缓就可以停掉了（随机的话，理论上可以模拟Grid Search全部的参数的结果）
for _ in range(n):
config=randim_select(search_space)
train_and_eval(config)
return best_result
3.Bayesian Optimization
用的比较少，但是未来可能有用（还在发展的领域）。学习从超参数到目标精度的函数（也就是surrogate model）
'开始的时候类似于随机，采样的点越多模型会越好，但是由于你不知道多少个采样点才ok，所以还是会出现成本问题，但是如果很少的采样点就能正确的话，那么模型本身就不是很复杂，那么随机搜索乃至全局搜索就可以了
- Simulated Annealing
- Genetic Algorithms(遗传算法）
Multi-fidelity优化算法
- Successive Halving(SH算法）
钱多火力足当然可以训练多多
只需要把最靠谱的超参数训练得足够长，剩下得淘汰掉
选择n个超参数，然后每个超参数训练m个epoch，然后接下来只留下最好的一半训练再训练2m个epoch，依次递减到1个超参数训练xm个epoch（指导原则是这样，具体炼丹可以微调）
SH算法比较简陋
HyperBand
n*m要是一个固定的数
其他
还有一个方法就是经验，或称玄学直觉，比如发现有一些超参数在任何自己实验过的数据集和模型都比较好，那么用这些说不定直接就能得出好的结果
