2018 · NIPS · Learned in Translation: Contextualized Word Vectors
想法来源：从CV中借鉴的想法，深层的神经网络权重初始化问题，可以提升最后的表现性能。
价值：在通用的NLP任务中提高最后的表现。
方法：训练好的机器翻译的encoder(BiLSTM)，作为上下文编码器，结合Glove向量作为表示，扔到downstream任务里。
缺点：task specific，大多还是利用了下游任务的模型表现。
详细方案：
训练好一个翻译模型的encoder，用这个encoder编码单词表示。拼接glove向量
-c350
下游任务还是利用各自的模型，比如分类，利用率a-o-a模型和self att, max, mean, min pooling。QA利用了Dynamic Coattention Network (DCN)
数据集：
- smallest MT dataset comes from the WMT 2016 multi-modal translation shared task
- largest MT dataset WMT 2017
- medium-sized MT dataset Spoken Language Translation 2016
- Stanford Sentiment Treebank (SST)
- IMDb dataset
- small TREC dataset
- Stanford Natural Language Inference Corpus (SNLI)
- SQuAD
实验：
分类：
-c400
-c400
QA:
-c400
