Lecture 1: 学习问题
机器学习问题
-
基于数据（training data）运用算法来建立一个model(function G),以达到function G和未知的存在的function F(上帝之手，决定某一个观测)生成的结果近似（类别或连续）
机器学习过程图示
Tips for machine learning
- 成功的前提：数据中存在pattern
- 应用的必要条件: Pattern 不可通过数学直接计算出
Lecture 2: Learning feasible
概率论复习
-
对于一个抽样样本，当数目足够大时，事件x的发生的频率(v)接近于其概率(μ)，即两者的差在一个可容忍的范围内(ε)
Lecture 3: Linear models
Input representation
- eg: 对于一个16*16像素的手写数字的图像，Input有256个，简单线性模型的话有257个参数，运算量大，可以提取有效信息，如本例中图像黑色像素的密度、对称性，即Features
Features: Extract useful information
Linear classification
- PLA(perceptron learning algorithm)
- 对于线性不可分的数据，PLA不适用，迭代将不会收敛，数据的分类将是最后一次迭代的分类效果，所以不是不一定是最好的
- Pocket algorithm：PLA的优化，即再迭代过程中只保留最好的hypothesis
Linear regression
- Measure the error
线性回归中，估计模型通常使用squared error
- 线性回归求解
-
如下图，将Xw视为一个n行w列的矩阵，求解是的squared error最小的w
线性回归求解运算
-
线性回归求解全貌
- 线性回归应用于linear classification
- 线性回归可以学习获得一个实值(R)函数;
- 分类问题即binary value，而binary value也是实值
Nonlinear transformation
系数W是线性的 ？？
Nonlinear transformation
Q&A
关于Ein 样本内误差的解释
- 对于回归来讲，Ein 在training sample(相对于整体，该部分样本即是抽样样本)，即Measure如squared error的均值，而对于样本外误差，如使用model去回归，则样本外误差是真实的期望值和实际值的差别
-
对于分类来讲，样本内误差即错误分类的频率（frequency of the error), 而对于样本外误差（probability of the error），
抽样样本误差/Training sample Error
Lecture 4: Error and Noise
Error measure
Measure how well of h(训练函数) approximate f(事实函数，上帝之手)
误差的计算：首先是逐点计算，具体体现方式和误差的表现形式有关，如squared error即点差值平方，而分类问题中则是错分的频率
pointwise error -> overall error
-
未知的概率分布函数P，产生training sample，用该函数来评价最终训练函数g
