机器学习是从已知数据中获得规律，并利用规律对未知数据进行预测的技术。具体分为有监督学习、无监督学习和强化学习。
一、数据集
在建立模型之前可将数据集分为训练集、测试集和验证集。训练集用来训练模型，验证集通过调整参数验证模型的好坏，测试集用来评估模型的泛化能力。
二、误差分析
误差是算法实际预测输出与样本真实输出之间的差异。
- 模型在训练集上的误差称为“训练误差”
- 模型在总体样本上的误差称为“泛化误差”
- 模型在测试集上的误差称为“测试误差”
在训练模型的时候，经常会出现过拟合或欠拟合情况，可通过调整参数和增加损失函数等来解决。
过拟合是指模型能很好地拟合训练样本，而无法很好地拟合测试样本的现象，从而导致泛化性能下降。为防止“过拟合”，可以选择减少参数、降低模型复杂度、正则化等。
欠拟合是指模型还没有很好地训练出数据的一般规律，模型拟合程度不高的现象。为防止“欠拟合”，可以选择调整参数、增加迭代深度、换用更加复杂的模型等。
交叉验证
交叉验证可以增加模型的泛化能力，提升其精准度。
三、有监督学习
3.1 回归模型
线性回归
概念：
线性回归是在样本属性和标签中找到一个线性关系的方法，根据训练数据找到一个线性模型，使得模型产生的预测值与样本标 签的差距最小。
目标函数：
3.2 分类模型
3.2.1逻辑回归
概念：
逻辑回归是利用𝑠𝑖𝑔𝑚𝑜𝑖𝑑函数，将线性回归产生的预测值压缩到0和1之间。
目标函数：
3.2.2支持向量机
概念：
支持向量机是有监督学习中最具有影响力的方法之一，是基于线性判别函数的一种模型。
目标函数：
3.3.3 决策树
概念：
决策树是一种基于树结构进行决策的机器学习方法。
3.3.4 随机森林
概念：
随机森林是用随机的方式建立起一棵棵决策树，然后由这些决策树组成 一个森林，其中每棵决策树之间没有关联，当有一个新的样本输入时，就让每棵树独立的做出判断，按照多数原则决定该样本的分类结果。
四、无监督学习
4.1 聚类
概念：
聚类用来预测各样本之间的关联度，把关联度大的样本划为同一类，关联度小的样本划为不同类。
常见算法：
Kmeans聚类、密度聚类、均值漂移聚类等。
4.2 降维
概念：
降维是把维度较高、计算复杂的数据，转化为维度低、易处理、且蕴含的信息不丢失或较少丢失的数据。
常见算法：
MDS（MultiDimensional Scaling 多维尺度变换）、ISOMAP（Isometric Mapping 等距特征映射） 、PCA（Principle component analysis 主成分分析）、LDA（Linear Discriminant Analysis 线性判别分析）、SNE（Stochastic Neighbor Embedding）、t-SNE（t-distributed stochastic neighbor embedding）。
五、总结
机器学习方法很多，容易混淆，需要不断的复习和实践才能更好的掌握其优缺点和应用场景。聚类方法一般是跟其他算法联合起来用。
