[自然语言处理-先修]一、概率统计相关知识梳理

本科和硕士阶段都断断续续地接触过NLP相关内容，但是没有真正地、系统地进行总结，因此也只是停留在什么都知道一点、但什么都理解的不深刻的程度上。写这一系列内容是为了记录自己重新学习的过程，也希望这次能将这些知识真正内化理解。

学习路线参考：

https://blog.51cto.com/u_15298598/3121189

https://github.com/Ailln/nlp-roadmap

https://juejin.cn/post/7113066539053482021

本节学习使用工具&阅读文章：

https://zhangzhenhu.github.io/blog/

https://www.zhihu.com/question/20587681

https://seeing-theory.brown.edu/cn.html

https://cloud.tencent.com/developer/article/1070069

https://blog.csdn.net/Dby_freedom/article/details/83374650

https://cloud.tencent.com/developer/article/1694338

  1. 概率论基础

    1. 随机变量

      用x来代表抛硬币的结果：比如说1表示正面，0表示反面，那么我们称x为随机变量。

    2. 期望

      以概率（或密度）为权重的加权平均值。刻画了概率分布的中心。

      E[X]=∑_{x∈X}xP(x)

    3. 方差

      一个随机变量与它的期望之间的差的平方的加权平均值。刻画了概率分布的分散度。

      Var(X)=E[(X−E[X])^2]

    4. 排列&组合

      假设我们有一袋珠子，每个珠子的颜色都不相同。如果我们无放回地从袋子里抽取珠子：

      排列：一共有多少种可能出现的颜色序列

      排列数A^m_n：从n个不同元素中取出m个元素的所有排列的个数。A^m_n=n!/(n-m)!

      组合：有多少种可能出现的没有顺序的序列

      组合数C^m_n：从n个不同元素中取出m个元素的所有组合的个数。C^m_n=A^m_n/m!

    5. 条件概率

      条件概率是指事件A在另外一个事件B已经发生条件下的发生概率，表示为：P(A|B)。

      若只有两个事件A、B，那么，P(A|B)=P(AB)/P(B)

      若有A_1, A_2, …, A_n，且P(A_1A_2…A_n)＞0，则P(A_1A_2…A_n)=P(A_1)P(A_2|A_1)…P(A_n|A_1A_2…A_{n-1})

    6. 相关性：刻画两个变量之间的线性关系

      r=\frac{s_{xy}}{s_{xx}s_{yy}}

      其中，s_{xy}=\sum^n_{i=1}(x_i-\overline x)(y_i-\overline y)

      s_{xx}=\sum^n_{i=1}(x_i-\overline x)^2

      s_{yy}=\sum^n_{i=1}(y_i-\overline y)^2

    7. 方差分析（ANOVA）

    8. 中心极限定理

      对于一个（性质比较好的）分布，如果我们有足够大的独立同分布的样本，其样本均值会（近似地）呈正态分布。样本数量越大，其分布与正态越接近。

  1. 概率学派

    世界是确定的，有一个本体，这个本体的真值是不变的。我们的目标就是要找到这个真值或真值所在的范围。

    1. 点估计：用样本统计量来估计总体参数
    2. 置信区间：一个置信水平为95\%的置信区间表示这个置信区间包含真实参数的概率为95\%。
    3. Bootstrap方法：一种方便的近似确定估计量性质的方法。假设给定的数据集包含d个样本。该数据集有放回地抽样m次，产生m个样本的集合，利用这些新的样本来估计元样本均值的标准差。

  1. 贝叶斯学派

    世界是不确定的，人们对世界先有一个预判，而后通过观测数据对这个预判做调整，我们的目标是要找到最优的描述这个世界的概率分布。

    1. 全概率公式：H发生的可能性。P(H) = \sum^n_{i=1}P(A_i)P(H|A_i)
    2. 贝叶斯公式：在H发生的情况下，由A_i促成的可能性。P(A_i|H) = \frac{P(A_i)P(H|A_i)}{\sum^n_{j=1}P(A_j)P(H|A_j)}
    3. 先验概率（Prior）：P(A_i)。已有的、根据以往经验和分析得到的概率。
    4. 似然性（Likelihood）：P(H|A_i)。概率分布。
    5. 后验概率（Posterior）：P(A_i|H)。在得到结果后重新修正的概率，实际上就是条件概率。

  1. 线性回归：Y=wX+b，找到一组参数w,b使预测数据和实际数据之间的均方误差最小。

    假设有n个样本，损失函数使用均方误差：J = \frac{1}{2n}\sum_{i=1}^n(z_i-y_i)^2 = \frac{1}{2n}\sum_{i=1}^n(y_i-wx_i-b)^2

    最小二乘法：对w和b求导，再令导数为0（到达最小极值），就是w和b的最优解。

  1. 逻辑回归：在线性回归的基础上加了一个Sigmoid 函数（非线形）映射。是分类模型，通常用来解决二分类问题。Sigmoid函数，即逻辑函数：g(x)=\frac{1}{1+e^{-x}}，且有g'(x)=g(x)[1-g(x)]

    逻辑回归函数g(y)=\frac{1}{1+e^{-wx}}

    1. 最大似然估计

      P(Y=1|x)=g(y)=\frac{1}{1+e^{-wx}}=g_w(x)

      P(Y=0|x)=1-g(y)=\frac{1}{1+e^{wx}}=1-g_w(x)

      对于样本数据(x,y)，它的分类结果为y的概率为

      P(y|x,w)=g_w(x)^y(1-g_w(x))^{1-y}

      对于样本集合D=\{(x_1,y_1),(x_2,y_2),…,(x_n,y_n)\}，总事件发生的概率为

      L(w)=\prod_{i=1}^nP(y_i|x_i;w)=\prod^n_{i=1}g_w(x_i)^{y_i}(1-g_w(x_i))^{1-y_i}

      找到参数w使预测数据和实际数据之间的差距最小。为了计算方便，引入对数，则

      ln(L(w))=\sum^n_{i=1}[y_iln(g_w(x_i))+(1-y_i)ln(1-g_w(x_i))]

    2. 损失函数

      损失函数取平均对数似然，即J(w)=-\frac1nln(L(w))

      在逻辑回归当中，最大化似然函数和最小化损失函数实际上是等价的。

    3. 梯度下降法

      1. 步骤：

        1. 找到现在所处位置下降最快的方向（梯度）；
        2. 沿着第二步找到的方向走一个步长，到达新的位置，且新位置低于刚才的位置；
        3. 判断是否结束，如果还没有，回到步骤一。

      2. 梯度：J(w)对w_j求偏导的结果。F = {\partial J(w)\over\partial w_j}={1\over n}\sum^n_i[g(wx_i)-y_i]*x_{i,j}

        x_{i,j}代表第i个样本的第j个属性值。

      3. 更新：w_j=w_j-\alpha*F

      4. 结束条件：达到最大迭代次数，或学习曲线已小于某个特定阈值。

  1. 信息理论

    首先定义：越不可能发生的事件（P(x)越小）信息量越大，独立事件的信息量可叠加。

    1. 熵：可以表示一个事件A本身包含多少信息。

      s(x)=−∑_iP(x_i)logP(x_i)，x指事件。

      一个一定会发生的事件发生概率为1，s(x)=−∑_iP(x_i)log_bP(x_i)=-log1=0，信息量为0。

    2. KL散度（相对熵）：用于衡量两个事件（分布）之间的不同。即从事件A的角度来看，事件B有多大不同。假设原概率分布为P_A(x_i)，近似概率分布为P_B(x_i)。

      对于离散事件：D_{KL}(A||B)=\sum_iP_A(x_i)[logP_A(x_i)-logP_B(x_i)]=\sum_iP_A(x_i)log\frac{P_A(x_i)}{P_B(x_i)}

      对于连续事件：D_{KL}(A||B)=\int a(x)[loga(x)-logb(x)]=\int a(x)log\frac{a(x)}{b(x)}

      KL散度不具有对称性，因此D_{KL}(A||B)与D_{KL}(B||A)不一定相同。

    3. 交叉熵：可以用来表示从事件A的角度来看，如何描述事件B。

      交叉熵 = KL散度 + 熵，即H(A,B)=D_{KL}(A∣∣B)+S(A) = -\sum_iP_A(x_i)logP_B(x_i)

      H(A,A)=S(A)。交叉熵同样不具有对称性。

      如果S(A)是一个常量，那么D_{KL}(A||B)= H (A,B) ，也就是说KL散度和交叉熵在特定条件下等价。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 205,236评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,867评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,715评论 0赞 340
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,899评论 1赞 278
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,895评论 5赞 368
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,733评论 1赞 283
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,085评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,722评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,025评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2赞 323
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,447评论 4赞 322
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,057评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2赞 352
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2赞 343

推荐阅读更多精彩内容