[TOC] 动机 现有的 PTM 有以下缺点： 以预训练的语言模型为例，它们很好地学习频繁词的语义，但在受长尾数据分布限制的稀有词上表现不佳。同...

[TOC] 文本生成任务的基本定义 从给定的输入序列生成预期的输出序列，称为序列到序列 (Seq2Seq)。 Seq2Seq 任务和模型于 20...

Python正则表达式，请不要再用re.compile了！！！ - 知乎[https://zhuanlan.zhihu.com/p/706804...

当我们有多个选项，根据不同值调用不同对象时，不想写很多if—else，就用反射，达到了动态访问、不写死的效果，高内聚、松耦合 反射涉及四个函数：...

line_profiler function前标上 @profile kernprof -l -v aaa.py Line：文件中的行号。Hit...

涉及两个包:官方fasttext包gensim 官方可以下载各种语言的预训练好的文件但是并不支持finetune，所以下载vec文件后用gens...

References: 图解Word2vec 经典再读之Word2Vec word2vec Parameter Learning Explain...

ch1 我要做：具体的事 我不要：具体的事 我想做：想打成的目标 意志力就是控制这三种。 我要做，是前额灰质控制的，晚睡，分心，都会让你选择做更...

机遇 10000小时理论，在自己专业练习一万小时则大成，良好的机会给有准备的人，才能抓住机会。良好的机会也促进10000小时的达成。 富裕家庭更...