参考链接keras：3)Embedding层详解
示例原文链接：
https://blog.csdn.net/qianshishangdi/article/details/88640204
个人理解：
以下是个人对Embedding及其与word2vec关系的通俗理解，表达尽量接地气，语言可能不准确，有不正确的地方欢迎指正。
keras原型和关键参数：
keras.layers.embeddings.Embedding(input_dim, output_dim, input_length=None)
• input_dim: int > 0。词汇表大小， 即，最大整数 index + 1。
• output_dim: int >= 0。词向量的维度。
• input_length: 输入序列的长度，必须和输入数据长度一致。当它是固定的时。 如果你需要连接 Flatten 和 Dense 层，则这个参数是必须的 （没有它，dense 层的输出尺寸就无法计算）
Embedding：建立一个可训练的两层神经网络，对输入的数据进行预处理；包括输入层、input层和output层。
input_dim即input层节点数对应词汇表，Embedding层自动实现每节点对应一个词汇
Embedding实质是训练一个与输入相关的向量表，该向量表的尺寸为[input_dim,input_length，output_dim]（隐含要求输入是one-hot码）；训练过程input层和output层权重逐渐优化，权重表可以表达训练数据之间的逻辑关系。
Embedding输出=输入*Embedding，相当于按输入one-hot码在Embedding权重矩阵中查表，得到一个与输入对应的向量。该向量在nlp中可以用作词向量，与one-hot相比，该词向量尺寸更小并且可以表达词之间的逻辑关系，词向量之间的夹角表示词向量之间语义相近程度。
word2vec与Embedding关系：word2vec本身是一个语言模型，一般认为是一个三层的神经网络，其中第一层相当于Embedding，且优化了查表速度（因为Embedding本身是两层网络，所以可以将word2vec理解为一个4层的深度神经网络）。word2vec第一层的权重即为输入的词向量表，第一层的输出即为word2vec的词向量。很多NLP将word2vec单纯作为文本向量化工具。
示例代码
import numpy as np
from keras.models import Sequential
from keras.layers import Embedding, Masking
# Embedding和Masking都可以用来处理变长文本，Embedding只能过滤0
model = Sequential()
model.add(Embedding(input_dim=2,
output_dim=2, #将输入拆分成一个几维的量
input_length=7,
))
print('Embedding input shape:\n', model.layers[0].input_shape)
print('Embedding output shape:\n', model.layers[0].output_shape)
model.compile('rmsprop', 'mse')
a=np.array([[0, 1, 0, 1, 1, 0, 0],
[1, 1, 1, 1, 1, 1, 1]]
)
print('input shape a:\n', a, a.shape)
result = model.predict(a)
print('Embedded a:\n', result)
print('shape Embedded a:\n', result.shape)
运行结果
Using TensorFlow backend.
Embedding input shape:
(None, 7)
Embedding output shape:
(None, 7, 2)
input shape a:
[[0 1 0 1 1 0 0]
[1 1 1 1 1 1 1]] (2, 7)
2019-03-18 15:23:16.590430: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2
Embedded a:
[[[ 0.00076254 0.04154864]
[-0.03167279 -0.00586861]
[ 0.00076254 0.04154864]
[-0.03167279 -0.00586861]
[-0.03167279 -0.00586861]
[ 0.00076254 0.04154864]
[ 0.00076254 0.04154864]]
[[-0.03167279 -0.00586861]
[-0.03167279 -0.00586861]
[-0.03167279 -0.00586861]
[-0.03167279 -0.00586861]
[-0.03167279 -0.00586861]
[-0.03167279 -0.00586861]
[-0.03167279 -0.00586861]]]
shape Embedded a:
(2, 7, 2)
