NJUNMT

e370c6df1724422b8bc379817bff301.png

tensorflow中的Graph（图）和Session（会话）的关系（大盘鸡与红烧肉）

TensorFlow 中的几个关键概念：Tensor，Operation，Graph，Session

TF flags

学习TF官方的NMT
Tensorflow 机器翻译NMT笔记 1 快速上手

注意力机制

配置示例：
example_configs>sample.yml

training options:
train:

• update_cycle: 用于pseudo Multi-GPU training
• batch_size: 每一步输入的句子数量
• batch_tokens_size: 每个batch的单词数
• save_checkpoint_steps: 模型保存点
• train_steps: 一次训练多少步为止
• eval_steps: 评估展示点
• maximum_features_length: 源语言seq长度限制
• maximum_labels_length:目标语言seq长度限制
• reverse_target: ？ 是否reverse target以训练模型
• shuffle_every_epoch:是否在epoch之间shuffle？ 默认无
  data: 配置训练用数据文件地址
• train_features_file: 源语言示例文段
• train_labels_file: 目标语言示例文段
• eval_features_file: 评估用源语言文段
• eval_labels_file:评估用目标语言文段
• source_words_vocabulary:源语言词库
• target_words_vocabulary:目标语言词库
• bpe code: 辅助功能 默认无
  BPE字节对编码
  hooks: Hook? tf.train.SessionRunHook()介绍

metrics: 评估指标 支持LossMetricSpec和BleuMetricSpec
optimizer:优化器 任务是最小化loss adam是代替梯度下降
Tensorflow中优化器--AdamOptimizer详解

loss计算：网络输出结果（词序列）→softmax→交叉熵计算loss（交叉熵计算两组概率分布之间的距离）

seq2seq配置示例：
toy_seq2seq.yml
debug用网络参数
model：seq2seq

TensorFlow中的那些高级API,包括Estimator（估算器）、Experiment（实验）和Dataset（数据集）

tensorflow中的Session()和run()

training/hooks.py
不知道干嘛的
training/optimize.py
优化器
training/text_metrics_spec.py
根据配置参数建立评估指标 包括loss和bleu两种