深度学习模型不会接受原始文本数据作为输入，它只能处理数值张量。因此需要文本向量化。
文本向量化是指将原始文本转化为数值张量的过程，有多种实现方式：
1.将文本分割为单词，并将每个单词转化为一个向量
2. 将文本分割为字符，并将每个字符转化为一个向量
3. 提取单词或字符的n-gram(多个连续的单词或字符)，将每个n-gram转化为一个向量。
将文本分割后的单词/字符/n-gram称为token，将tokens转化为向量有两种方法:
1.one-hot 编码
2.Embedding（通常只用于单词，叫作词嵌入（word embedding）)
一. one-hot
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.preprocessing.text import Tokenizer
samples=['The cat is very cute.','The girl is so beautiful.'] tokenizer=Tokenizer(num_words=1000)#创建一个分词器，只保留前1000个最常见的单词 tokenizer.fit_on_texts(samples)#构建单词索引 sequence=tokenizer.texts_to_sequences(samples)#将字符串转换为单词的整数索引组成的列表
one_hot_results=tokenizer.texts_to_matrix(samples,mode='binary')
word_index=tokenizer.word_index#单词索引
print(sequence):
print(one_hot_results):
print(word_index):
One-hot存在的问题：
1.维度爆炸
2.无法捕捉词之间的语义关系
对于第一个问题，可以使用one-hot散列技巧来缓解，也就是对word做hash。问题是会存在冲突。
import numpy as np
#将单词保存为长度为1000 的向量。如果单词数量接近1000 个（或更多），那么会遇到很多散列冲突，这会降低这种编码方法的准确性
dimensionality=1000
max_length=10
results=np.zeros((len(samples),max_length,dimensionality))
for i,sample in enumerate(samples):
for j,word in list(enumerate(sample.split()))[:max_length]:
index=abs(hash(word))%dimensionality
results[i][j][index]=1
二. Embedding词嵌入
词嵌入是从数据中学习得到的。常见的词向量维度是256、512 或1024（处理非常大的词表时）。
与此相对，onehot编码的词向量维度通常为20 000 或更高（对应包含20 000 个标记的词表）。因此，词向量可以将更多的信息塞入更低的维度中。
词向量之间的几何关系应该表示这些词之间的语义关系。词嵌入的作用应该是将人类的语言映射到几何空间中。
获取词嵌入主要有两种方法：
1.在完成主任务（文本分类/情感预测）的同时学习词嵌入。
在这种情况下，词嵌入一开始是随机值，在训练的过程中对词嵌入进行学习。学习方式与神经网络中的权重相同。
2.在不同于待解决问题的机器学习任务中计算好词嵌入，将其直接加载进模型中。这些词嵌入叫做预训练词嵌入。
在Tensorflow中，可以通过Embedding层来生成词向量
Embedding层至少需要两个参数：(1)token的个数（最大单词索引+1）(2)嵌入的维度
如：embedding_layer=keras.layers.Embedding(1000,64)
可以将Embedding层看作一个字典:将整数索引（表示指定单词）映射为稠密向量。
它接受整数作为输入，并在内部字典中查找这些整数，然后返回相关联的向量。
单词索引->Embedding层->对应的词向量
Embedding层的输入是一个二维整数张量，其形状为（samples,sequence_length）, 其中每个元素是一个整数序列。
序列必须具有相同的长度（因为需要将它们打包成一个张量），所以较短的序列应该用0填充，较长的序列应该被截断。
Embedding 层返回一个形状为(samples, sequence_length, embedding_dimensionality) 的三维浮点数张量。然后可以用RNN 层或一维卷积层来处理这个三维张量。
将一个Embedding 层实例化时，它的权重（即标记向量的内部字典）最开始是随机的。与其他层一样，在训练过程中，利用反向传播来逐渐调节这些词向量，改变空间结构以便下游模型可以利用。
代码示例：使用keras自带的imdb数据集
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.datasets import imdb
max_feature=1000 #每条文本只保留最常见的1000个词
max_len=20 #每条文本单词个数最多为20
(x_train,y_train),(x_test,t_test)=imdb.load_data(num_words=max_feature)
#将整数列表转换成形状为(samples,maxlen) 的二维整数张量
x_train=keras.preprocessing.sequence.pad_sequences(x_train,max_len)
x_test=keras.preprocessing.sequence.pad_sequences(x_test,max_len)
构建模型：
dimonsion=8
model=keras.models.Sequential()
# Embedding 层激活的形状为(samples, maxlen, 8)
model.add(keras.layers.Embedding(max_feature,dimonsion,input_length=max_len))
# 将三维的嵌入张量展平成形状为(samples, maxlen * 8) 的二维张量
model.add(keras.layers.Flatten())
model.add(keras.layers.Dense(1,activation='sigmoid'))
model.compile(loss='binary_crossentropy',metrics=['accuracy'],optimizer='rmsprop')
训练模型：
history=model.fit(x_train,y_train,epochs=10,batch_size=32,validation_split=0.2)
上述在训练模型的过程中，同时训练词向量。若想使用预训练的词向量：
加载数据集：使用原始imdb数据集(即英文语句序列）
import pandas as pd
train=pd.read_csv("D://data/imdb/train.csv",sep="\t",header=None)
train.columns=['label','text']
train.head()
text=train.text
label=train.label
#对文本数据进行分词，使用预训练的词向量
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences
max_len=100
max_words=1000
tokenizer=Tokenizer(num_words=max_words)
tokenizer.fit_on_texts(text)
sequence=tokenizer.texts_to_sequences(text)
word_index=tokenizer.word_index
print('found %s unique tokens'% len(word_index))
data=pad_sequences(sequence,max_len)
print(data[:2])
打乱训练数据并将其划分为训练集，验证集：
import numpy as np
indices=np.arange(data.shape[0])
np.random.shuffle(indices)
data=data[indices]
label=label[indices]
x_val=data[:5000]
y_val=label[:5000]
x_train=data[5000:]
y_train=label[5000:]
下载Glove词嵌入
打开https://nlp.stanford.edu/projects/glove，下载2014 年英文维基百科的预计算嵌入。
这是一个822 MB 的压缩文件，文件名是glove.6B.zip，里面包含400 000 个单词（或非单词的标记）的100 维嵌入向量。解压文件。
对解压后的文件（一个.txt 文件）进行解析，构建一个将单词（字符串）映射为其向量表示（数值向量）的索引。
embedding_index={}
f=open("D:/Glove/glove.6B.100d.txt",'r',encoding='mac_roman')
for line in f:
values=line.split()
word=values[0]
coefs=np.array(values[1:],dtype='float32')
embedding_index[word]=coefs
f.close()
构建可以加载到Embedding层的嵌入矩阵
expanding_dim=100
embedding_matrix=np.zeros((max_words,expanding_dim))
for word,i in word_index.items():
if i<max_words:
embedding_vector=embedding_index.get(word)
if embedding_vector is not None:
embedding_matrix[i]=embedding_vector
与上例相同，构建模型：
model=keras.models.Sequential()
model.add(keras.layers.Embedding(1000,100,input_length=max_len))
model.add(keras.layers.Flatten())
model.add(keras.layers.Dense(1,activation='sigmoid'))
关键步骤，使用预训练的词向量：
model.layers[0].set_weights([embedding_matrix])
model.layers[0].trainable = False
训练模型：
model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=['acc'])
history=model.fit(x_train,y_train,epochs=10,batch_size=32,validation_data=(x_val,y_val))
