机器学习中的数学——概率论

参考资料：百度文档

随机变量定义

若对随机试验的每一种可能结果 $\omega$ $\in$ $\Omega$ 都有一个唯一的实数 $\xi$ ( $\omega$ ) 与之对应, 则称数值为随机变量. 实际上, 随机变量是将试验的结果映射到实数空间中. 比如男女分别为1, 0.$
随机变量可以是离散是连续的

随机变量的数字特征概率分布

分为离散型分布:
$p(x_{i})$
连续类型分布:
$p(x)$
累计分布函数为:
$F(x)= \int_\infty^x{p(\xi)d\xi}$
其积分求和为0.
使用抛硬币来说 $p(0)=0.5;p(1)=0.5$

随机变量数字特征期望

数字特征：用以刻画随机变量某方面特征的量，称为随机变量的数字特征

常用的数字特征:数学期望, 方差, 矩, 众数, 中位数, 协方差, 相关系数

离散类型期望：

设离散型随机变量 $X$ 的概率分布为:
$P(X=x_i)=p_i,~~~ i=1, 2, 3,....$
若 $\sum_{i=1}^\infty{x_ip_i}$ 绝对收敛, 则称 $\sum_{i=1}^\infty{x_ip_i}$ 为随机变量X的期望或均值, 记为 $EX$ , 即
$EX = \sum_{i=1}^\infty{x_ip_i}$
注:

$EX$ 度量了随机变量X的加权平均
$p_i(i=1, 2, 3...)$ 为权重 $

连续型随机变量的期望:

定义:设随机变量X的密度函数为 $f(x)$ , 若 $\int_{-\infty}^{+\infty}{xf(x)dx}$ 绝对收敛, 则称 $\int_{-\infty}^{+\infty}{xf(x)dx}$ 为随机变量 $X$ 的期望或均值, 记为 $EX$ .

随机变量函数的数学期望:

定义:设 $X$ 为随机变量, $y=g(x)$ 为实函数

设 $X$ 为离散型随机变量, 概率分布为 $P(X=x_i)=p_i, ~~i=1, 2, 3, ...$ ,若 $\sum_{i=1}^\infty{g(x)p_i}$ 绝对收敛, 则 $E[g(x)]$ 存在,且
$E[g(x)]=\sum_{i=1}^\infty{g(x)p_i}$
设 $X$ 为连续型随机变量, 密度函数为 $f(x)$ , 若 $\int_{-\infty}^{+\infty}{g(x)f(x)dx}$ 绝对收敛, 则 $E[g(x)]$ 存在, 且
$E[g(x)]=\int_{-\infty}^{+\infty}{g(x)f(x)dx}$

例: 设随机变量的概率分布为:

$X$	0	1	2
$P$	0.1	0.6	0.3

求 $E[x-EX]^2$ .
解:
$EX=0*0.1+1*0.6+2*0.3=1.2$
$E[X-EX]^2=(0-1.2)^2\times 0.1+(1-1.2)^2\times 0.6+(2-1.2)^2\times 0.3=0.36$

随机变量的方差

对随机变量 $X$ ,知道了它的数学期望 $EX$ , 虽然对该随机变量有了一定了解, 但还不够.
例: 为评估一批灯泡的好坏, 从某种途径了解到其平均寿命为1000h, 即 $EX=1000$ , 但不能完全肯定其质量的好坏.

有可能产品的寿命平均集中在950~1050h, 质量稳定!
有可能一半寿命为700小时, 另一半寿命为1300小时, 质量相对不稳定!

故需要找一个值，能够度量随机变量 $X$ 与 $EX$ 的偏离程度.

$X-EX$ ---->不能! $X-EX$ 是随机变量
$E(X-EX)$ ---->不能! $E(X-EX)=EX-EX=0$ (正负偏差相互抵消)
$E|X-EX|$ ---->不便于计算
得: $E(X-EX)^2$

定义:设随机变量 $X$ 的数学期望为 $EX$ , 则称 $E(X-EX)^2$ 为随机变量 $X$ 的方差, 记为 $D(X)$ , 或 $Var(X)$ ,并称 $\sqrt{D(X)}$ 为 $X$ 的标准差.
方差的计算:
考虑到方差实际上是随机变量函数的数学期望: $g(X)(X-EX)^2$ , 因此
若 $X$ 为离散型随心变量, 概念分布为 $p_i=P(X=x_i), ~~i=1,2,3...$ 则
$D(X)=E(X-EX)^2=\sum_{i=1}^\infty{(x_i-EX)^2p_i}$
若 $X$ 为连续型随机变量, 概率密度为f(x), 则:
$D(X)=E(X-EX)^2=\int_{-\infty}^{+\infty}{(x_i-EX)^2f(x)dx}$
有如下公式:
$D(X)=E(X^2)-(EX)^2$
证^[1]:

$D(X)=E(X-EX)^2 = E(X^2 -2X*EX+(EX)^2)$
$=E(X^2)-2(EX)^2+(EX)^2$
$=E(X^2)-(EX)^2$
方差的性质:

$D(C)=0~~C为常数$
$D(X+C)=D(X)$
$D(CX)=C^2D(X)$

协方差

百度百科:协方差

在概率论和统计学中，协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况，即当两个变量是相同的情况。

<font color='red'> $Cov(X,Y)=E[(X-EX)(Y-EY)]$ </font>
$=E(XY)-2E(X)E(Y)+E(X)E(Y)$
$=E(XY)-E(X)E(Y)$

从直观上来看，协方差表示的是两个变量总体误差的期望。

根据【随机变量函数的数学期望】计算。 ↩

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 214,504评论 6赞 496
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,434评论 3赞 389
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 160,089评论 0赞 349
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,378评论 1赞 288
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,472评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,506评论 1赞 292
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,519评论 3赞 413
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,292评论 0赞 270
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,738评论 1赞 307
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,022评论 2赞 329
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,194评论 1赞 342
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,873评论 5赞 338
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,536评论 3赞 322
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,162评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,413评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,075评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,080评论 2赞 352