PCA, Principal Components Analysis主成分分析是针对高维复杂数据降维的常用算法。 1、简单理解 针对有非常多特征...

集成学习(ensemble learning)是采用多个机器学习模型组合进行综合预测，从而提升模型性能的思路，分为bagging与boostin...

MARS可简单理解为分段线性函数，针对某一特征变量x与响应变量y存在较为复杂的非线性关系，通过寻找合适数目(n)的cut point/knot分...

支持向量机Support vector machine，SVM是一种有监督的机器学习算法，可用于分类或者回归。本次笔记以分类任务为例主要学习。 ...

随机森林random forest是一种有监督学习算法，既可用于分类，也能用于回归。本质上使用bagging的思路创建许多决策树，以达到预测目的...

KNN是一种很简单的KNN有监督的机器学习算法；既可用于分类，也可用于回归任务。 1、KNN的简单理解 1.1 算法步骤 （1）计算输入数据与训...

逻辑回归是一种用于有监督学习，解决分类问题的算法。虽然叫回归，但是是一个分类算法，本质上是根据特征变量预测某个事件是否发生的概率，然后基于概率值...

当进行线性回归拟合，有非常多特征变量(features)时，不仅会极大增加模型复杂度，造成对于训练集的过拟合，从而降低泛化能力；此外也增加了变量...

线性回归应该可以说是最简单的机器学习算法之一了，它最显著的优势在于其易解释性；同时也是理解后续深奥算法的基础。 1、线性回归的简单理解 （1）如...