本文主要从数学原理的角度探讨。从数学的角度理解,线性模型的输入是一组特征向量x,输出也是一组特征向量。 线性回归可用于回归和分类。 我们通过数据集D优化线性回归模型的目的是什...
一、牛顿法 在介绍牛顿法之前,先回顾下在数学分析中,对于牛顿法的解释。 在高数中,牛顿法适中估值方法,用于近似计算,是迭代法的一种。 其精髓在于:对于目标方程f(x)=0,首...
为什么要学习最优化理论? 因为对于ML模型训练,最终都可以归结为最优化问题,寻找最优参数,是模型的loss最小。 在ML中,最优化分为 无约束的最优化问题和有约束的最优化问题...
为什么要引入采样原理? 因为精确推断随着随机变量数目的增长在时间复杂度上呈现指数级的增长趋势。为了降低计算复杂度,我们采用近似推断技术。本章,我们采用 马尔科夫链蒙特卡洛采样...
马尔科夫网络描述的是具有马尔科夫性质的随机变量X的联合分布的模型。 1.马尔科夫性质 那么,什么是马尔科夫性质呢?就是一组随机变量按时间顺序排列,第N+1时刻特性与N以前的随...
一、什么是概率图模型? 概率图模型(PGM)是用图来表示变量概率依赖关系的理论,表示与模型有关的变量的联合概率分布。 PGM重在对现实世界的描述,核心是条件概率,基本的概率图...