2018年,对于NLP领域来说是最让人激动的一年。先后诞生的ELMo、GPT、BERT在预训练语言模型方面的成功给NLP领域的研究带来了新的姿势...
GPT(Generative Pre-Training)出自2018年论文《Improving Language Understanding b...
之前简单写过一个iOS自动打包脚本,在实际使用过程中逐步增加了一些新的feature: 为方便使用,将部分参数做成可选并提供默认值; 打adho...
Transformer由google在2017年发表的论文《Attention is All You Need》中提出。从当前的时间节点来看,毫...
2014年,Google Mind发表的《Recurrent Models of Visual Attention》论文点燃了Attention...
ELMo(Embedding from Language Models),出自NAACL 2018的一篇论文"Deep contextualiz...
GloVe:Global Vectors for Word Representation,它是一个基于全局词频统计的词表征工具。通过GloVe计...
词向量技术将自然语言中的词转化为稠密向量,使得相近的词有相似的向量表示,方便后续在向量的基础上做运算,进一步挖掘文本之间的潜在关系。 在传统的机...
反向传播算法(Backpropagation Algorithm,简称BP算法)是深度学习的重要思想基础,本文将介绍该算法的原理。 上图是一个简...