贝叶斯基本概念

1.贝叶斯分类器

1.1贝叶斯定理

P(A \bigcup B)=P(A)+P(B)-P(A \bigcap B)
P(A \bigcap B)=P(A \mid B)P(B)=P(B \mid A)P(A)
后验定理:后验概率 = (相似度 * 先验概率)/标淮化常量
P(A \mid B)=\frac{P(B \mid A)P(A)}{P(B)}
将B看作新的样本的特征,A看作样本的可能结果(可能存在的类别),公式的意义就是B条件下出现A情况的概率。
贝叶斯的思想:从频率推测概率是一种正向思维,讲的是客观概率,而贝叶斯是一种主观判断,是根据已有条件推测事件发生的可能,表明了我们对于某一事件的相信程度。

1.2贝叶斯决策论

假设有N种可能类别的标记,即Y={\lbrace c_1,c_2,...,c_N \rbrace},\lambda_{ij}是将一个真实标记为{c_j}的样本误分类为{c_i}所产生的损失,基于后验{p({c_i \mid x})}可获得将样本x分类为{c_i}所产生的期望损失(expected\quad loss),即在样本x上的"条件风险"(conditional\quad risk)
R(c_i \mid x)=\sum_{j=1}^{N}{\lambda_{ij}P(c_j \mid x)}
即任务变为寻找一个判定准则h:{\cal X \mapsto Y}以最小化整体风险
R(h)=\Bbb{E}_x[R(h(x)\mid x)]
对于每个样本x如果h能最小化条件风险R(h(x)\mid x),则总体风险R(h)也将被最小化
h^*(x)=arg_{c \in Y} min R(c \mid x)
h^*为贝叶斯最优分类器,与之对应的总体风险R(h^*)为贝叶斯风险
决策步骤:
第一, 理清因果链条,哪个是假设,哪个是证据。

第二,给出所有可能假设,即假设空间

第三,给出先验概率

第四,根据贝叶斯概率公式求解后验概率,得到假设空间的后验概率分布

第五,利用后验概率求解条件期望, 得到条件期望最大值对应的行为

当我们假设证据都是互相独立的,那么此时为朴素贝叶斯。
即属性条件独立型假设。
P(c \mid x)=\frac{P(c)P(x \mid c))}{P(x)}=\frac{P(c)}{P(x)} \prod_{i=1}^{d}{P(x_i \mid c)}
d为属性数目,x_i为在第i个属性上的取值。

奥卡姆剃刀:当两个假说具有完全相同的解释力和预测力时,我们以那个较为简单的假说作为讨论依据。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容