《机器学习技法》是国立台湾大学林轩田讲授的一门课程，课程的上集是《机器学习基石》。相关资源可以在youtube找到，也可在评论区索要云盘链接。本文主要是我学完一遍基石&技法后的笔记梳理，如果存疑请以原课程讲授内容为准，欢迎讨论~[注]本文仅适用于帮助复习，不适用于代替视频课程。
技法分为3个部分，分别为
● 核模型：嵌入大量特征（6小节）
● 融合模型：融合预测性特征（5小节）
● 抽取模型：提取隐性特征（4小节）
本文主要梳理第三部分。
三 抽取模型：提取隐性特征
1神经网络（多层融合、模式抽取）
1.1启发
1.1.1一层perceptrons（线性投票）
1.1.2多层perceptrons
1.2神经网络
1.2.1每一层的转换tanh函数
每一层接受一个加权分数，用tanh转换得到本层的神经元。
1.2.2输出 一个简单线性模型
1.2.3神经网络全貌
物理意义：
1.3 w的训练
1.3.1最后一层的偏微分
1.3.2中间层的偏微分
综上，先算最后一层的偏微分，再反向地算中间层的偏微分。每一层通过各自的随机梯度做梯度下降，逐步优化本层的w
1.4神经网络的VC维度
1.5神经网络的正则化
1.5.1加正则项
L2正则化存在以下问题：
解决方式：
1.5.2早停止
2深度学习（deep NNet）
2.1例子
2.2问题
2.3 optimazation problem：pre-training
2.3.1希望预训练得到的w是保留原信息的
autoencoder：
2.3.1.1优点：
2.3.1.2基本形式
2.3.2基于autoencoders的pre-Trainning
2.4 complexity problem：regularization
2.4.1继承NN的方法
2.4.2去杂讯：denoisingautoencoder
2.5线性autoencoder
deep learning用的是tanh
autoencoder，如果不是用于DL，那可以用线性autoencoder
2.5.1最优化
矩阵分解：
最优化г：
最优化V：
2.5.2线性autoencoder算法（主成分分析）
作用：通过线性组合的方式对资料进行降维。
3 Radial Basis Function Network径向基函数网络（基函数的融合）
3.1定义
与NN的不同（由于区别较小，过去它被当作一种特殊的NN）：
3.2高斯SVM
它其实就是一个RBFN：
3.3距离的物理意义
3.4 Full RBF Network基于全部点的RBF网络
3.4.1μ：所有点
3.4.2β：独裁
3.4.3β：插值法
3.4.4正则化
3.4.4.1惩罚β：
3.4.4.2减少μ：
选议员是一个分群问题
3.4.4.1分群最优化
3.4.4.2代表最优化
3.4.4.3 k-Means算法
例子：
3.4.5采用k-Means算法的RBF网络
例子：
离中心点越近的点产生的影响越大。
与full RBF network的比较
中间是4-means RBFN结果，左右两幅是full RBFN
4 Matrix Factorization矩阵分解
案例
4.1二元向量编码
对本案例电影资料进行编码：
4.2用线性网络进行预测
4.2.1实质：矩阵分解
4.2.2矩阵分解学习
4.2.2.1交替最小平方法
4.2.2.1.1思路
4.2.2.1.2算法
4.2.2.1.3与Linear Autoencoder的比较：
4.2.2.2随机梯度下降法
4.2.2.2.1思路
4.2.2.2.2算法
4.2.2.2.3应用
5总结
5.1模型结构
5.2技法
5.3优缺点
四 大总结
1特征的利用方法
1.1通过核利用大量特征(xn)
1.2通过融合利用预测特征(gn)
1.3通过特征分解利用隐藏特征
1.4通过压缩利用低维特征
2最优化
2.1通过梯度下降进行数值最优化
2.2通过等价法进行间接最优化
2.3通过分步法进行复杂最优化
3消除过拟合
3.1通过正则化（刹车）消除过拟合
3.2通过验证（仪表板）消除过拟合
4 KDDCup经验
5 2006年算法排名
