keras:
1.Embedding层解析
Embedding 层
keras.layers.embedding,Embedding(input_dim, output_dim, embeddings_initializer='uniform',
embeddings_regularize=None, activity_regularizer=None,
embeddings_constraint=None, mask_zero=False, input_length=None)
嵌入层将正整数(下标)转换成具有固定大小的向量,如[[4],[20]]--->[[0.25,0.1],[0.6,-0.2]]
Embedding层只能作为模型的第一层
参数
input_dim
:大或等于0的整数,字典长度,即输入数据最大下标+1
output_dim
:大于0的整数,代表全连接嵌入的维度
embeddings_initialize
r: 嵌入矩阵的初始化方法,为预定义初始化方法名的字符串,或用于初始化权重的初始化器。参考initializers
embeddings_regularizer
: 嵌入矩阵的正则项,为Regularizer对象
embeddings_constraint
: 嵌入矩阵的约束项,为Constraints对象
mask_zero
:布尔值,确定是否将输入中的‘0’看作是应该被忽略的‘填充’(padding)值,该参数在使用递归层处理变长输入时有用。设置为True的话,模型中后续的层必须都支持masking,否则会抛出异常。如果该值为True,则下标0在字典中不可用,input_dim应设置为|vocabulary| + 2。
input_length
:当输入序列的长度固定时,该值为其长度。如果要在该层后接Flatten层,然后接Dense层,则必须指定该参数,否则Dense层的输出维度无法自动推断。
输入shape
形如(samples,sequence_length)的2D张量
输出shape
形如(samples, sequence_length, output_dim)的3D张量