最近又认真的看了一遍Transformer，但是研究的越多，反而也看不清真相了。 为啥这样的一些设计，竟然能让模型记住那么多信息。如今各大厂竞相搞大模型，大搞军备竞赛。可是在...
发简信
IP属地：安徽
-
Transformer的一些理解
-
真正的利器：对比学习SimCSE最近看了一篇最新的Sentence Embedding论文，今年4月份的，丹琦大神发表的《Simple Contrastive Learning of Sentence Em...
-
-
偏差（Bias）、方差（Variance）、噪声、泛化误差聊到这几个概念，一般人如果不认真看，还真容易搞混。看上去貌似很高大的术语，其实理解后很简单。接下来，咱们就看下。 偏差 是指在同一份数据集上，训练一个模型，模型的预测值和r人...
-
Hard Negtive题目 试想有一份数据集，有99个负样本，1个正样本。现在我们要学习一个模型，怎么学？ 分析 看上去，直接学，模型会拟合大量负样本的特性。根本学不到正样本的。学到的模型，即使将...
-
深度语言模型-AlBertGoogle在2020年提出了AlBert模型。模型是对Bert的改进，效果肯定要好，不然怎么是改进呢，貌似说的是废话。闲言碎语不要讲，直接上结论： 各项都很牛 到底做什么，...
-
DropOut技术简述
DropOut的概念首次在2012年，论文《Improving neural networks by preventing co-adaptation of feature ...
-
UDA（Unsupervised Data Augmentation 无监督数据增强）Google在2019年提出了UDA方法（Unsupervised Data Augmentation 无监督数据增强），这是一种半监督学习方法。问世后，就击败了市面上其他的...
-
语义召回模型-TwinBertMicrosoft在2020年提出了TwinBERT: Distilling Knowledge to Twin-Structured Compressed BERT Mod...
-
Word Hasing
何为Word Hashing？ 仅用于英文中。具体以book这个单词为例，分为三个步骤： 在book两端添加临界符#book# 采用n-gram的方式分成多个部分，如果是tr...
-
深度语言模型-Transformer-XL简介 2019年提出《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》论文，是...
-
深度语言模型-GPT简介 OpenAI在2018提出了GPT(Generative Pre-Training)模型，模型采用了Pre-training + Fine-tuning的训练模式，可用...
-
深度语言模型-ELMo简介 2018年3月，ELMo这篇paper发表，《Deep contextualized word representations》， 是NAACL18 Best Pape...
-
深度语言模型-Cove2017 年，Salesforce 的 Bryan McCann 等人发表了一篇文章 Learned in Translation: Contextualized Word ...
-
-
-
LambdaMART之见底之解引入 lambdamart是什么呢？ 无非是 lamda + mart. lambda 和 mart又是什么呢？ lambda 大师强制定义的梯度。含义是：指明下一次移动的方...