1 贝叶斯

贝叶斯，又叫贝叶斯推理、贝叶斯理论，就是一个条件概率的变化公式，把p(y|x)变换为p(x|y)和p(y)求解。

p(y|x) 是后验、p(y)是先验、p(x|y)是似然（当然，也是一种后验）。

在贝叶斯中，x与y不能反过来，x与y是什么关系呢？

我的理解，y是本质，x是表现；y是输出、x是输入；y是结果，x是条件；y是分类，x是特征。

（1）以经典的诊断模型来讲，x是症状、y是疾病，诊断模型是p(y|x)，由症状推理疾病。疾病y 是本质，症状x是表征，表征是由疾病引起的。

我们为啥不直接求p(y|x)呢，而是要转化为p(x|y)，因为后者是客观的，数据D是反应客观的，所以数据只能直接得到p(x|y)。

（2）贝叶斯，就是通过本质与现象的关系，从现象定位本质。比如，人的本质，分男与女；先告诉你，本质与现象的关系，即男的直爽（概率0.9）、短头发（概率0.8）；女的，感情细腻（0.9），长头发（概率0.8）。让你由现象判断本质，即判断直爽的、长头发的人，是男还是女？

判断是男是女（后验），要考虑什么呢？除了考虑男女与特征的关系（似然）外，还要考虑男女的比例（先验）。

我们的决策，就像贝叶斯。学习，本质认识现象；用的时候呢，现象映射到本质。用，就是贝叶斯推理。

2 产生式模型

神奇的贝叶斯是产生式模型，而产生式模型考虑的是联合概率，原因何在呢？

明明是p(y|x)，为啥是产生式模型呢？

因为p(y|x)正比于p(x,y)，p(x,y) = p(x|y)*p(y)，后者就是贝叶斯。