序-Deep Learning 在NLP领域的发展

三个阶段

  • Word Embedding

    • Word2Vec (2013)
    • Glove(2014)

  • RNN改进和拓展

    • LSTM(1997)/GRU(2014)

      • GRU：它把遗忘门和输入门合并成一个更新门


    • Seq2Seq(2014)

    • Attention/Self-Attention(2014)

  • Contextual Word Embedding(上下文 Word Embedding)

    提出背景：监督数据量不足，难以学到复杂的上下文表达
    解决方案：使用无监督的Contextual Word Embedding
    • ELMo(2018)
    • OpenAI GPT(2018)
    • BERT(2018)
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容