发简信
IP属地：浙江
-
2022-02-18
RoFormer: Enhanced Transformer with Rotary Position Embedding [TOC] 前言 谈...
-
ALBERT 论文翻译和阅读笔记Abstract 在预训练无言模型中，增加网络参数的规模能带来在下游任务的性能的提升，但是随着参数量的增加，会带来一些困难：GPU内存的限制和训...
-
2021-12-03
Overview BERT是一个具有绝对位置嵌入的模型，因此通常建议将输入在右侧进行pad，而不是左侧 bert被训练在MLM和NSP目标，有效...
-
2021-11-16
ImageNet Classification with Deep Convolutional Neural Networks 0 背景 在L...
-
attention is all you needAttention is all you need 1 为什么提出attention 传统的RNN的不足如果想要生成，它需要计算，这严重阻碍...
-
2021-10-15
Abstract 学习出高质量的句子表示是有利于广泛的自然语言处理任务，尽管bert-base在很多的下游任务当中达到了很好的效果，但是bert...
-
attention
普通attention 根据相似度的计算方法不同大致可以分为两种： 点积（大多数） 全连接网络 点积 首先根据torch的nn.LSTM(Bi_...
-
注意力机制
注意力机制 一、最开始的注意力机制 为什么会有注意力机制提出来类似于人类看图片，当人们看到一张图片的时候，都会下意识的将注意力放到比较明显的地方...
-
2021-08-16
3 Approach 此部分，提出句子表征迁移的consert，给与类bert的预训练语言模型M和来自目标分布的无监督数据集D，目标是在数据...