上一层得到一个层归一化之后的矩阵【5，129，256】,层归一化之后的矩阵做一个全连接
全连接层
激活函数为glu
glu作为激活函数会使得维度减半
因为在这中间包含了Relu激活函数，而均值为零的数据，有一半的数据为负值，所以维度为
【维度变化的过程汇总5（全连接层）】2021-06-11
上一层得到一个层归一化之后的矩阵【5，129，256】,层归一化之后的矩阵做一个全连接
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- 原文链接：http://blog.csdn.net/yjl9122/article/details/7019835...
- 上一层输出了一个context=【5，129，256】和原来的矩阵（输入之前的矩阵【5，129，256】）相加，相...
- Torch的核心是求导，求导依赖运算函数的定义，函数运算在Torch中也是重点之一，有的函数使用Function接...
