title: PRML NOTES-1 绪论
date: 2017-07-22 19:40:23
tags:
- PRML
- NOTES
PRML NOTES-1 绪论
标签（空格分隔）： PRML NOTES
为什么不是ESL or MLAPP之类的, 纯粹因为我之前Bayes方面接触的不太多. 本科的时候就经常听到PRML大名, 正好也有译版.(ps.当年那篇翻译版声明的写的是真好)
概率论
error function : 通常来说MSE是有效的$E(\omega) = \frac{1}{2}\sumN_{n-1}{y(x_n,\vec\omega)-t_n}2$
关于高次插值造成的over-fitting : 我想起来了类似的一个Runge现象:高次多项式等距插值在边缘点出现误差无穷大的情况. 事实上, Runge现象是由误差累计传播导致, 和over-fitting是不一样的(说到这里, 当年做Runge这个topic的时候还对比了Fourier analysis里面Gibbs现象)
regularization : 事实上 $L_1$norm是加了一个拉普拉斯先验, $L_2$加了一个高斯先验. 后面应该会有推导.
shrinkage : 这个shrinkage和Stein's Pheonomenon的应该是一个吧?高维情形下, regularization导致估计量的shrinkage, 进而导致variance的减小, 补偿了bias, 从而使得泛化误差的减小.
信息论
entropy : $H[x]=-\sum_x p(x)\log_2p(x)$
KL divergence : $KL(p||q) = -\int p(x) \ln {\frac{q(x)}{p(x)}}$
divergence这方面, KL JSD都有一些不好的性质.
