NLP的巨人肩膀

这篇文章看过几遍了,总结的极好!分享一下

总结来看,BERT 的出现既踩在了一众前辈们的“巨人肩膀”上,通过精心设计和一些训练技巧造出了一个庞大模型,最后又舍得花钱砸下巨大资源,给众人上演了一场炫目无比的烟花秀。与其说 BERT 带来了一次翻天覆地的革新,不如说 BERT 团队糅合能力超群,以及还有一点也非常重要:有钱。

NLP的巨人肩膀(上):从语言模型到Word2Vec

NLP 的巨人肩膀(下):从 CoVe 到 BERT

语言使我们成为人类
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 本文上两篇系列 NLP的巨人肩膀(上) NLP的巨人肩膀(中) 4.6 Bidirectional Encoder...
    weizier阅读 6,591评论 1 22
  • 本文另两篇系列 NLP的巨人肩膀(上) NLP的巨人肩膀(下) 3. 梯子的一级半 除了在word级别的embed...
    weizier阅读 6,727评论 0 18
  • 我们都知道,牛顿说过一句名言 If I have seen further, it is by standing ...
    weizier阅读 8,511评论 5 25
  • 人生算法 如果把人的一生记为一个常量,在这个尺度上每个人都有自己的算法。 外在的如:金钱、地位、名誉,也有内在的如...
    一旦皇粮阅读 291评论 1 1
  • 下雨时,有人在避雨,就有人在淋雨,我想陪陪那些淋雨的人,也陪陪雨。
    甜心欧尼_阅读 325评论 0 1