神经网络
- 感知机：由两层神经元组成
- 由于神经网络的层数比较少，因此学习能力比较有限
- 如果线性的模式是可分的， 那么一定会收敛，否则会发生震荡
- 多层前馈神经网络
- 每一层与下一层连接
- 同层不能连接
- 不能跨层连接
BP神经网络
- 比较容易遇到过拟合的状况
- 解决方法是早停或者是正则化
- 如何跳出局部的最优解
- 模拟退火
- 采用多组不同参数初始化的神经网络
- 随机梯度下降
- 其他的神经网络
- 径向基函数 神经网络
- ART网络 竞争型学习
深度学习
- 逐层训练 + 整体微调
- 权共享 ： 让一组神经元使用相同的连接权
- 没有看懂 手写识别的过程
支持向量
- 距离超平面最近的训练样本
- 支持向量机 最大化间隔
- 间隔：
支持向量机的间隔
- 核函数： 把训练集投射到更高维度的空间中，简化了内积运算的求解
- 核函数还可以通过线性组合，直积以及函数嵌套的方式进行重组
- 软间隔： 在最大化间隔的同时，不满足约束的样本应该尽可能的少，需要定义损失函数
支持向量回归
- 只有超出给定的偏差范围时，才会计算损失
- 表示定理： 优化问题的最优解都可以表示为核函数的线性组合
贝叶斯分类器
- 目标： 最小化总体的风险
- 可以通过平滑的方式，来避免因为训练集不充分的原因，而造成的估计概率值为0的情况。
- 贝叶斯网： 训练之后可以用来查询，通过一些属性变量的观测值来推测其他属性变量的取值
集成学习
- 构建并结合多个学习器来完成学习的任务
- 泛化性能比较好
- 每个分类器要 好而不同 ，随着分类器数目的增加，集成的错误率会按照指数下降。
- 优化方法：
- Boosting：主要降低偏差，可以用于繁华性能相当弱的学习器
- Bagging 与随机森林
- Bagging : 随机采样出T个训练集，然后分别训练各个模型，分类使用简单的投票法，回归任务采用平均法。
- 随机森林： 随机的选择一个属性来用于划分（与决策树相似），效果优于Bagging
聚类
- 距离计算： JC系数，FM系数，RI系数，性能的结果均值在[0,1]区间内，值越大越好
- 没有具体的标准，因此算法比较多
降维与度量学习
- K近邻学习： 懒惰学习——虽然简单，但是泛华错误率不会超过贝叶斯最优分类器的结果的两倍
- 面临问题： 高维空间中数据十分稀疏 -> 用降维的方法解决
- 非线性降维： 避免丢失高维空间的结构信息，需要利用核函数
- 流形学习： 利用等度量映射，降维后的空间的距离不能使用高维空间的距离计算方式。（如何转换成低维空间——使用机器学习的方法）
- 度量学习： 直接学习一个可以计算距离的度量
特征选择与稀疏学习
- 需要进行特征选择，特征的选择方法：
- 过滤式的选择： 先选择，再训练，选择与训练互补影响
- 包裹式的选择： 选择一个量身定做的训练集，开销更大，效果更好
- 嵌入式选择 ：在学习过程中自动进行了选择
