资料来源：https://www.bilibili.com/video/av9258966
Paper：
论文网页：https://arxiv.org/pdf/1301.3781.pdf
基于次数的方法不能很好的代表向量的语意。如one-hot，TF-IDF。
语意：语言逻辑中的含义。
从理论上理解什么是word2vec
资料：http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/
给定滑窗和中心词，去猜测滑窗有可能出现单词的概率。
滑窗的大小 3，5，7...
语意的体现：一个单词的语言可定和它和什么单词一起出现有关呀。
如何做到这一点呢
1.首先对每个单词进行one-hot encoding
2.两层的神经网络，只有两层的权重矩阵。
3.有多个label就比较多次，每一次都去调整权重，比如第3组， brown-> the brown-> quick brown-> fox brown-> jumps,一个brown去预测多个单词。
4.每一个滑窗都会，调整神经网络的权重。
5.词向量是输入层到隐藏层的权重矩阵。每一个词都会对应一个300长的向量。
6.非监督学习
我们学习的不是一个最终的目标，我们学习的是每一个单词的特征（向量表示）。
非监督学习
常见：
1.维度降解
- PCA 非监督学习 做维度降解 Dimension Redaction
- T-ISE
2.聚类
- k-mean
- DB-scan
3.特征提取
- Feature learning
- Feature Extration
没有一个具体目的，你就让它自己干就行了，给他什么他就学习什么。
定义：
Supervised Learning：
X Y 找到 f(x) ---> y
Unsupervised Learning 无监督学习
X f(x) ----descripes--> S
S = {x1,x2,x3,...}
DeepLeaning 就是一种特征提取,深度学习非监督学习的一种方法。
Autoencoder 逐层抽象，提取图片信息。
word2vec 是一种特征提取
TextSpace -------》 VectorSpace
每一个向量对应文字或者单词。
