最近学习了一些词向量的表示方法，GloVe模型作为其中代表性的方法，自然也是花了不少功夫来学习的。这篇文章是我学习GloVe模型的笔记，大部分参照了理解GloVe模型以及加入了本人对论文的一些理解。
GloVe模型是一种词向量分布表示模型，是一种无监督学习算法。总体上看，GloVe模型是一种对“词-词”矩阵进行分解从而得到词表示的方法。其步骤如下：
共现矩阵
设共现矩阵为，其元素为
。
的意义为：在整个语料库中，单词
和单词
共同出现在一个窗口中的次数。
举例：
设有语料库：
i love you but you love him i am sad
这个小小的语料库只有1个句子，涉及到7个单词：i、love、you、but、him、am、sad。
如果我们采用一个窗口宽度为5（左右长度都为2）的统计窗口，那么就有以下窗口内容：
| 窗口标号 | 中心词 | 窗口内容 |
|---|---|---|
| 0 | i | i love you |
| 1 | love | i love you but |
| 2 | you | i love you but you |
| 3 | but | love you but you love |
| 4 | you | you but you love him |
| 5 | love | but you love him i |
| 6 | him | you love him i am |
| 7 | i | love him i am sad |
| 8 | am | him i am sad |
| 9 | sad | i am sad |
窗口0、1长度小于5是因为中心词左侧内容少于2个，同理窗口8、9长度也小于5。
以窗口5为例说明如何构造共现矩阵：
中心词为love，语境词为but、you、him、i；则执行：
使用窗口将整个语料库遍历一遍，即可得到共现矩阵。
模型
首先定义几个符号：
其实就是矩阵单词那一行的和；
条件概率，表示单词出现在单词
语境中的概率；
两个条件概率的比率。
而这个指标是有规律的，统计规律如下：
| 单词 |
单词 |
|
|---|---|---|
| 单词 |
趋近1 | 很大 |
| 单词 |
很小 | 趋近1 |
假设我们已经得到了词向量，如果我们用词向量、
、
通过某种函数计算
，能够同样得到这样的规律的话，就意味着我们词向量与共现矩阵具有很好的一致性，也就说明我们的词向量中蕴含了共现矩阵中所蕴含的信息。
设用词向量、
、
计算
的函数为
（我们先不去管具体的函数形式），那么应该有：
即：
即二者应该尽可能地接近；
很容易想到用二者的差方来作为代价函数：
但是仔细一看，模型中包含3个单词，这就意味着要在的复杂度上进行计算，太复杂了，最好能再简单点。
现在我们来仔细思考,或许它能帮上忙；
作者的脑洞是这样的：
- 要考虑单词
和单词
之间的关系，那
中大概要有这么一项吧：
；嗯，合理，在线性空间中考察两个向量的相似性，不失线性地考察，那么
是个标量，那么
%20%5E%20%7B%20T%20%7D%20v%20_%20%7B%20k%20%7D)
- 然后作者又往
，得到最终的
%20%3D%20%5Cexp%20%5Cleft(%20%5Cleft(%20v%20_%20%7B%20i%20%7D%20-%20v%20_%20%7B%20j%20%7D%20%5Cright)%20%5E%20%7B%20T%20%7D%20v%20_%20%7B%20k%20%7D%20%5Cright))
最关键的第3步，为什么套了一层？
套上之后，我们的目标是让以下公式尽可能地成立：
即：
即：
即：
然后就发现找到简化方法了：只需要让上式分子对应相等，分母对应相等，即：且
然而分子分母形式相同，就可以把两者统一考虑了，即：
本来我们追求：
现在只需要追求：
两边取个对数：
那么代价函数就可以简化为：
现在只需要在的复杂度上进行计算，而不是
，现在关于为什么第3步中，外面套一层exp()就清楚了，正是因为套了一层exp()，才使得差形式变成商形式，进而等式两边分子分母对应相等，进而简化模型。
然而，出了点问题。仔细看这两个式子：和
不等于
但是
等于
；即等式左侧不具有对称性，但是右侧具有对称性。
数学上出了问题。
补救一下好了。
现将代价函数中的条件概率展开：
即：
将其变为：
即将吸收到偏差项
中，同时为了保持对称性，添了一个偏差项
。
于是代价函数就变成了：
然后基于出现频率越高的词对儿权重应该越大的原则，在代价函数中添加权重项，于是代价函数进一步完善：
具体权重函数应该是怎么样的呢？
首先应该是非减的，其次当词频过高时，权重不应过分增大，作者通过实验确定权重函数为：
