本章内容

1.损失函数

损失函数是估量模型预测值与真实值不一致程度的函数。当前已有许多通用的标准损失函数，但在目标建模过程中，可能需要通过提出新的损失函数来提升模型表现，此时需要自定义损失函数。

2.学习率

学习率控制了学习的步长，即模型参数的收敛速率。在简单ML模型中也许常采用经验数值（0.05，0.1......），或者进行手工调参（传统艺能），但也有一些动态调整学习率的方式。如，使用函数进行学习率调整（线性函数、指数函数等）。

3.模型调整

DL模型训练时，可以利用现有强大模型，并基于现有模型进行改造及个性化层定义、训练、微调。

4.半精度设置

半精度技巧可以减少数据占用显存，在数据size比较大时可以提升训练速度及模型效果。

PyTorch进阶技巧

Github页面公式展示问题可以通过以下方式处理：

Google扩展小程序Math Jax Plugin for Github，实现自动转换markdown公式等。

2022年03月20日

https://github.com/orsharir/github-mathjax