NLP（3）——seq to seq

  • 什么是Seq2Seq网络？
    在Seq2Seq模型中采用了这种 Encoder-Decoder架构，其中 Encoder 是一个RNNCell（RNN ，GRU，LSTM 等） 结构，四层的LSTM结构使得能够提取足够多的特征，使得decode的模型变好

  • 几种Seq2Seq模式
    1.学霸模式



    2.普通作弊


    image.png

    3.学弱作弊

    普通作弊的基础上，回顾上一刻的答案

    4.学渣作弊（attention机制）



    上课的时候划重点
  • 应用场景
    只要是序列到序列都可以用

  • attention机制是怎么引入的？


    image.png

    第一步



    第二步：

    第三步：


  • seqtoseq损失函数
    损失函数为交叉熵损失函数，一般情况下，深度学习最后用softmax最为分类器一般都会选择用交叉熵损失函数
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容