概览

p2:线性回归、正则项
p3:Gradient Descent 来求解线性方程的案例讲解。
p4:误差分析bias/variance

博客问题

1.Adagrad 解决 learning rate 的方法是怎么操作的，计算公式理解以及记忆。
2.bias和variance 我的理解是对一个固定的模型也就是参数固定后，才可以根据这个模型来计算bias但是这样的话，variance 就没办法算了，所以，我的理解应该有问题，再仔细看看。

笔记

B站19年李宏毅 P2

1.把物种的因素加进去，再次建立表达式。𝛿 是一个信息函数。蓝色框里面的就是feature，所以这个也是线性方程。

把想法写成线性方程

最开始考虑物种的想法

2.加入正则项

• 加入正则项的目的是让方程尽量的平滑，（输入有一个一个变化，输入的变化尽量小。
• 要尽量平滑的function，要比较平滑方程的原因是：如果输入里面有一个噪音数据，那么这个噪音数据会对平滑的方程有比较小的影响。

• 正则项没有加 b ，因为不需要加 bias 这一项。原因是：我们要找一个平滑的 f 调整b的大小跟 f 的平滑程度是没有关系的。b 的大小只是让方程上下移动。

  
  
  正则化

3.正则项对f的影响：

• λ越大，越倾向考虑smoother,减少w的数值， f 就越平滑，考虑error越少。f 越平滑，在 training data 上的error会变大。
• λ最开始越来越大的时候，在testing data上的 error 慢慢变小，但是越来越大的时候，在testing data上的 error 慢慢变大了。我们喜欢平滑的 f ，但是不喜欢太平滑的 f，因为最平滑的 f 就是水平线。

• 调整 λ 的大小，来选择最合适平滑程度的曲线。

  
  
  正则项的影响

B站 19年李宏毅 P3

Gradient Descent 来求解线性方程的案例讲解。

B站19P4 Where does the error come from? ；误差分析

1.样本的均值和方差的公式

样本的均值和方差

• 期望和均值的区别
• 彻底理解样本方差为何除以n-1

2.假设变量 x 的均值是 𝜇，方差是𝜎2。

• 如果要估测 𝜇 ，要先从 x 中抽样 N 个点，算出这 N 个点的均值为 m，但是m ！= 𝜇。但是样本均值 m 的期望值是 𝜇 。（看第二张图）每个 m 可能都不等于 𝜇 ，但是找很多 m ，他们的期望值正好等于 𝜇 。

• 散布的多开取决于variance，

  
  
  真实期望和方差
  
  
  样本均值 m 的期望

3.误差的来源是 Bias and Variance，找很多的 f* 来看下。

误差来源

4.怎么去想有很多的 f*
不同宇宙抓到不同的宝可梦产生不同的f star,由不同的数据样板训练出不同的f star，不同的 f star可以去计算对应的Bias and Variance。

不同宇宙抓到不同的宝可梦产生不同的f*

5.每个宇宙找出来的 f star 就像是对着靶子开一枪。

同一个模型，给不同的data，最后的模型不一样

6.每次找不同的样板训练出不同的 f star，找出100个f star ，然后画出来。这100个曲线根据不同的 model 展示出来的效果

• 一次的时候集中，五次的时候散开。

  
  
  每次找不同的样板训练出不同的 f star

7.variance

• 简单的model 集中，var 小。复杂，散的比较开，var大。

• 简单的 model 受数据的影响比较小。极端栗子：f(x) = c（常量）在任何宇宙都是一样的，不会变化。var是零。

  
  
  模型简单，var小

8.Bias
假设的f hat

bias-多个f star的平均值

9.黑色是f hat ，红色是5000条线，蓝色是5000条线的均值

越复杂，bias越小

10.简单模型bias大，var小。复杂模型，bias小，var大。
原因：model 就是是一个function set——

• 简单model 的function space比较小，有可能没有包含 f hat这个target。

• 复杂model 的function space比较大，可能有包含target，因为数据不够，没法找出target，平均起来会散布在 f hat周围。

  
  
  bias

11.bias VS var

• var 很大是overfiting，bias很大是underfitting

• 左边次数较低，function set 比较少，是 underfitting，右边次数比较高，是overfitting。

  
  
  bias VS var

12.模型到底是bias大还是var大

• 请看ppt的英文说明

  
  
  模型到底是bias大还是var大

13.var大怎么办

• 增加数据

• 正则化——增大λ，会缩小function space ，可能会不包含 f hat，增大bias，要在bias和var中间做一个平衡。

  
  
  var大的话，怎么办

14.model selection
根据手上的 test set 来选择model，手上的 test set 与真正的 real test
set 有一些偏差。这个不太好。

model selection

15.cross Validation

• 可以把training set 分为训练集和交叉验证集，在交叉验证集合上选最好的model，
• 然后再用training set 和 validation set一起训练这个选出来的模型，

• 最后在公共的 test set上去看结果。

  
  
  交叉验证

16.N-fold Cross Validation

多分几次交叉验证

B站 19年李宏毅 P5