LSTM-CRF代码记录
def main(_): if FLAGS.train: if FLAGS.clean:clean(FLAGS)#清除之前所有的训练模型时生成的文件 train() else: evaluate_line()
看代码时候我们先从main函数开始看起
这里涉及三个部分1.train() 2.clean() 3.evaluate_line()
Clean()
这个函数很简单，里面代码结构主要如下：
if os.path.isfile(params.vocab_file): os.remove(params.vocab_file)
如果存在这些文件就要先删除，防止之前的文件对现在训练的影响
Train()
如果参数输入train为True，那么将运行train函数
首先是加载数据集（训练集，测试集，验证集）
train_sentences = load_sentences(FLAGS.train_file, FLAGS.lower, FLAGS.zeros)dev_sentences = load_sentences(FLAGS.dev_file, FLAGS.lower, FLAGS.zeros)test_sentences = load_sentences(FLAGS.test_file, FLAGS.lower, FLAGS.zeros)
load_sentences()
参数：文件名，是否大小写转换，是不是将数字0化
返回值：[[[],[],[],[]....],[],[],[]]每个句子都是一个list,然后将每个句子中的所有的字\s标签 写入每一个句子的list中，也就是3层list嵌套
update_tag_scheme()
更新标注体系函数，标注体系是iob还是iobes，最后转换由这个函数实现，而且这个函数也实现可纠错功能。就标注中明显错误的进行纠正。
注：开始时候都是用的bio标注，但是根据参数进行改成对应的标注体系
flags.DEFINE_string("tag_schema", "iobes", "tagging schema iobes or iob")表明是BMES标注体系
# Use selected tagging scheme (IOB / IOBES)update_tag_scheme(train_sentences, FLAGS.tag_schema)update_tag_scheme(test_sentences, FLAGS.tag_schema)
之后是产生maps
打包(char_to_id,id_to_char,tag_to_id,id_to_tag) or pickle.load()
主要代码如下：
# create maps if not existif not os.path.isfile(FLAGS.map_file): # create dictionary for word if FLAGS.pre_emb: dico_chars_train = char_mapping(train_sentences, FLAGS.lower)[0] dico_chars, char_to_id, id_to_char = augment_with_pretrained( dico_chars_train.copy(), FLAGS.emb_file, #预训练的词典 list(itertools.chain.from_iterable( [[w[0] for w in s] for s in test_sentences]) #test words ))#加入了预训练的词 else: _c, char_to_id, id_to_char = char_mapping(train_sentences, FLAGS.lower) # Create a dictionary and a mapping for tags _t, tag_to_id, id_to_tag = tag_mapping(train_sentences) with open(FLAGS.map_file, "wb") as f:pickle.dump([char_to_id, id_to_char, tag_to_id, id_to_tag], f) #如果存在预训练的词，char和tag是不对称的else: with open(FLAGS.map_file, "rb") as f:
char_to_id, id_to_char, tag_to_id, id_to_tag = pickle.load(f)
以上代码实现：如果map_file存在，就直接load,如果不存在，就需要dump一个map_file文件，这个文件里面存有char_to_id, id_to_char, tag_to_id, id_to_tag
如果预训练词向量文本存在，首先对训练集数据进行建立映射关系对item_to_id, id_to_item如下实现:
Char_mapping()
输入：一个词典，以字为键，以字出现的数目为值
输出：item_to_id, id_to_item (两个词典，分别根据词出现的次数进行排序由高到低进行排序之后，item_to_id为以词为键，以词的顺序值为值的词典，id_to_item更好与之相反)
augment_with_pretrained()
输入：三个参数
训练集数据的词典（根据词频从高到低排序），预训练的向量文档，装有字的测试集的list
输出：根据测试集是不是存在，以不同的方式扩充源训练集词典，然后由该词典进行获取word_to_id,id_to_word
如果预训练向量不存在，则直接使用训练集词典获取word_to_id,id_to_word
下面代码实现：获取tag_to_id,id_to_tag
# Create a dictionary and a mapping for tags _t, tag_to_id, id_to_tag = tag_mapping(train_sentences) with open(FLAGS.map_file, "wb") as f:pickle.dump([char_to_id, id_to_char, tag_to_id, id_to_tag], f) #如果存在预训练的词，char和tag是不对称的else: with open(FLAGS.map_file, "rb") as f: char_to_id, id_to_char, tag_to_id, id_to_tag = pickle.load(f)
以下代码实现：
准备数据，统一数据格式
# prepare data, get a collection of list containing indextrain_data = prepare_dataset( train_sentences, char_to_id, tag_to_id, FLAGS.lower)dev_data = prepare_dataset( dev_sentences, char_to_id, tag_to_id, FLAGS.lower)test_data = prepare_dataset( test_sentences, char_to_id, tag_to_id, FLAGS.lower)
Prepare_dataset()
