1、机器学习中的数值计算
概念解释：通常是指通过迭代过程更新解的估计值来解决数学问题的算法（而非通过解析过程推导出公式来提供正确解的办法）
常见操作：优化；线性方程组的求解。
困难：实数无法在数字计算机的有限内存下精确表示，所以我们都是通过有限数量的位模式来表示无限多的实数，因此往往会引入一些舍入误差，舍入误差累积可能会导致算法失效，例如造成上溢或下溢。
1.1 上溢和下溢
概念解释：
下溢：当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零会发生异常，如除数为零、取零的对数等。
上溢：当大量级的数被近似为∞ \infty∞ 或−∞ -\infty−∞ 时发生上溢。进一步的运算通常会导致这些无限值变为非数字。
上溢下溢的解决实例——softmax函数：
概念：softmax函数经常被用来预测与多项式分布相关联的概率，公式为：
特例：所有的= c时，当c无穷小，分母为0，下溢，c无穷大，上溢；
解决方案：
;
exp最大参数值为0，排除上溢；
分母中必有一个1，排除下溢；
1.2 病态条件
条件数：函数相对输入的微小变化而变化的快慢程度（输入的轻微变化导致输出的大幅改变）。
病态条件：因本身特性引起的输出对输入误差的敏感性。
