机器学习技法(三)

《机器学习技法》是国立台湾大学林轩田讲授的一门课程,课程的上集是《机器学习基石》。相关资源可以在youtube找到,也可在评论区索要云盘链接。本文主要是我学完一遍基石&技法后的笔记梳理,如果存疑请以原课程讲授内容为准,欢迎讨论~[注]本文仅适用于帮助复习,不适用于代替视频课程。

技法分为3个部分,分别为

● 核模型:嵌入大量特征(6小节)

● 融合模型:融合预测性特征(5小节)

● 抽取模型:提取隐性特征(4小节)

本文主要梳理第三部分。

三 抽取模型:提取隐性特征

1神经网络(多层融合、模式抽取)

1.1启发

1.1.1一层perceptrons(线性投票)



1.1.2多层perceptrons


1.2神经网络

1.2.1每一层的转换tanh函数


每一层接受一个加权分数,用tanh转换得到本层的神经元。

1.2.2输出 一个简单线性模型


1.2.3神经网络全貌


物理意义:


1.3 w的训练


1.3.1最后一层的偏微分


1.3.2中间层的偏微分


综上,先算最后一层的偏微分,再反向地算中间层的偏微分。每一层通过各自的随机梯度做梯度下降,逐步优化本层的w

1.4神经网络的VC维度


1.5神经网络的正则化

1.5.1加正则项


L2正则化存在以下问题:


解决方式:


1.5.2早停止


2深度学习(deep NNet)

2.1例子


2.2问题


2.3 optimazation problem:pre-training


2.3.1希望预训练得到的w是保留原信息的


autoencoder:


2.3.1.1优点:


2.3.1.2基本形式


2.3.2基于autoencoders的pre-Trainning


2.4 complexity problem:regularization

2.4.1继承NN的方法


2.4.2去杂讯:denoisingautoencoder


2.5线性autoencoder

deep learning用的是tanh

autoencoder,如果不是用于DL,那可以用线性autoencoder


2.5.1最优化


矩阵分解:


最优化г:


最优化V:


2.5.2线性autoencoder算法(主成分分析)


作用:通过线性组合的方式对资料进行降维。

3 Radial Basis Function Network径向基函数网络(基函数的融合)

3.1定义


与NN的不同(由于区别较小,过去它被当作一种特殊的NN):


3.2高斯SVM


它其实就是一个RBFN:


3.3距离的物理意义


3.4 Full RBF Network基于全部点的RBF网络

3.4.1μ:所有点


3.4.2β:独裁


3.4.3β:插值法


3.4.4正则化

3.4.4.1惩罚β:


3.4.4.2减少μ:


选议员是一个分群问题



3.4.4.1分群最优化


3.4.4.2代表最优化


3.4.4.3 k-Means算法


例子:


3.4.5采用k-Means算法的RBF网络


例子:


离中心点越近的点产生的影响越大。

与full RBF network的比较


中间是4-means RBFN结果,左右两幅是full RBFN

4 Matrix Factorization矩阵分解

案例


4.1二元向量编码


对本案例电影资料进行编码:


4.2用线性网络进行预测



4.2.1实质:矩阵分解


4.2.2矩阵分解学习


4.2.2.1交替最小平方法

4.2.2.1.1思路


4.2.2.1.2算法


4.2.2.1.3与Linear Autoencoder的比较:


4.2.2.2随机梯度下降法

4.2.2.2.1思路



4.2.2.2.2算法


4.2.2.2.3应用


5总结

5.1模型结构


5.2技法


5.3优缺点


四 大总结

1特征的利用方法

1.1通过核利用大量特征(xn)


1.2通过融合利用预测特征(gn)


1.3通过特征分解利用隐藏特征


1.4通过压缩利用低维特征


2最优化

2.1通过梯度下降进行数值最优化


2.2通过等价法进行间接最优化


2.3通过分步法进行复杂最优化


3消除过拟合

3.1通过正则化(刹车)消除过拟合


3.2通过验证(仪表板)消除过拟合


4 KDDCup经验





5 2006年算法排名


©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容