贝叶斯公式

2021/5/14

今天晚上回顾贝叶斯公式，看了b站上的视频 BV19V411o7Pu，感觉有了更新的认识，越发感觉这是一个十分深刻的公式，同时对概率论也有了新的思考，感觉数学的终极真的到了哲学的层面了。

视频中老师讲到，贝叶斯公式其实表面上就是条件概率的变形，但是它蕴含着一种深刻的思考方式，描述了学习这一过程。

$P(\theta |x)=\frac{P(x|\theta)P(\theta )}{P(x)}$

$x$ : 观察得到的数据（结果）

$\theta$ : 认知

$P(\theta|x)$ : posterior 获取数据后我们对于认知的刻画

$P(\theta)$ : prior 我们最开始没有获取数据，即没有学习时的认知（没有认知也算一种认知）

$P(x|\theta)$ : likelihood 在我们有初始认知时数据的规律

$P(x)$ : evidence 常数，在这里不用管

这个公式其实揭示了一切学习都是一个主观的过程，都是建立在已有的认知基础上来看待数据的，然后通过数据来得到新的认知。

假如初始认知和数据没有关系，在初始认知基础上看数据看到的是纯粹的数据的话，那么有 $x$ 和 $\theta$ 是独立的，那么等式两边有 $P(\theta|x)=P(\theta)$ ,即什么都没有学到。就是说如果用十分可观的眼光去看数据，那么你将什么都学不到。

真的头一次感到一个小小的公式有这样深刻的内涵，数学确实美呀！