github链接
注：1.2最新版本不兼容，用命令pip3 install tensorflow==1.0.0
在translate.py文件里，是调用各种函数；在seq2seq_model.py文件里，是定义了这个model的具体输入、输出、中间参数是怎样的init，以及获取每个epoch训练数据get_batch和训练方法step。
确定这些之后再考虑各种变量的shape等问题。
代码结构
seq2seq_model.py中定义了seq2seqModelclass结构
__init__函数里：
主要定义了self的各种参数的取值。
- （如果需要sampled softmax： 定义
sampled_softmax_loss函数） - 定义RNN结构
- 准备
encoder_inputs等的placeholder - 调用
seq2seq.model_with_buckets得到self.outputs和self.losses -
tf.clip_by_global_norm的方法来得到self.gradient_norms和updates
step函数（进行一次训练）里：
feed：把输入参数的encoder_inputs、decoder_inputs放入input_feed，最后session.run计算output的值。
get_batch函数里：
字面义，从输入参数data中随机选取符合要求bucket_id的数据PAD后返回。
返回结果——以self_test时的encoder_inputs为例，其格式为encoder_size*batch_size(6*32)，decoder_inputs同理
translate.py是直接运行的文件
函数read_data：
读取source language和target language文件，返回n个data_set，每个里面是（source,target）的句子pair，长度符合bucket[n]的要求
函数create_model：
利用seq2seq_model.py生成model结构，如果已经存在ckpt文件，则读取参数，否则session.run(initializer)
函数train：
with tf.session() as sess:
- 调用
create_model函数生成model - 调用
read_data生成dev_set和train_set - training loop: 随机选一个
bucket_id->model.get_batch->model.step
函数decode
with tf.session() as sess:
- create_model并load参数
- 读取待翻译的句子，决定对应的bucket_id
-
model.get_batch->model.step - 取可能性最大的output，截断<EOS>
data_utils.py
ids代表把单词转化为了id，giga开头的是训练文件，newstest是测试文件，vocab里是一行一个单词的单词汇总。
具体分析：
1. model里调用的几个自带函数tf.nn.sampled_softmax_loss、tf.contrib.legacy_seq2seq.embedding_attention_seq2seq、tf.contrib.legacy_seq2seq.model_with_buckets的关系。
tf.nn.sampled_softmax_loss，网络本身通过sampled_softmax(W*x+b)把输入的向量的维度扩展到target_vocab_size，这个函数是用来这一步的loss，会在后来被用于计算整体的loss。
tf.contrib.legacy_seq2seq.embedding_attention_seq2seq是不能计算的loss的，它只是负责返回这个网络的最终输出outputs [batch_size x decoder_size] 和状态states[batch_size x cell.state_size]。主要参数有
encoder_inputs,
decoder_inputs,
cell
tf.contrib.legacy_seq2seq.model_with_buckets是用来和target作比较，能计算出整体的loss（sampled_softmax的loss是一部分）。返回outputs [batch_size x output_size]和losses for each bucket。主要参数有
self.encoder_inputs, self.decoder_inputs, targets,
self.target_weights, buckets,
lambda x, y: seq2seq_f(x, y, False),
softmax_loss_function=softmax_loss_function
2. train和decode时的RNN输入和输出是怎样的？
train的时候，decoder_input是完整的<go>+W+X+Y+Z。不需要用sampled_softmax计算输出word。
decode的时候，decoder_input只有<go>，之后的decoder_input都是用上一个target。需要用sampled_softmax。
3. sess.run部分的训练方法是怎样的？
在model的初始化部分，定义了self.losses[len(bucket)]、self.gradient_norms[len(bucket)]、self.updates[len(bucket)]。
在model.step部分，定义output_feed即为上述三个合并在一起。当然，要feed的只是某一个bucket，所以要指定[bucket_id]。
代码运行说明：
- 首先用迅雷下载WMT语料库（压缩包），未避免每次运行都要重新解压，在
translate.py文件中的train函数中，把else条件改为
from_train="../newstest2013.en.ids40000"
to_train="../newstest2013.fr.ids40000"
from_dev="../newstest2013.en.ids40000"
to_dev="../newstest2013.fr.ids40000"
具体位置根据实际情况判断，其作用是直接读取train和dev的source和target的word_ids文件，而不用每次都重新生成。上图中的.en、.fr结尾的文件都可以删除，因为它们是原始word组成的文件，不再需要。
- 此命令需要运行很长时间，因为放到了服务器上。且如果不用tutorial中的小参数内存会不够。
python translate.py --data_dir ~/omg --train_dir ~/omg/train --size=256 --num_layers=2 --steps_per_checkpoint=50
运行后会依次显示：
Creating 2 layers of 256 units.
Created model with fresh parameters.
reading data lines XXX#作用是读取train文件中的句子，根据长度分配到不同的bucket中
之后进行到translate.py中的while true循环中，不断读取数据再model.step进行训练。同时会显示不同bucket中的perplexity。
- 经过~30K步（tutorial中的数据）0号1号bucket中的perplexity会下降到个位数，此时即可test。注意命令中的参数务必和train时的一样，否则读取checkpoint会报错。
python translate.py --decode --data_dir ~/omg --train_dir ~/omg/train --size=256 --num_layers=2 --steps_per_checkpoint=50
成功进入读取输入的翻译阶段~由于训练参数太小效果不理想，如下图：
将United States翻译成加拿大，不过China翻译正确。
