Bert代码跑albert报错

用bert的fine-tune代码跑albert模型,结果报错:

Shape of variable bert/embeddings/word_embeddings:0 ((21128, 312)) doesn't match with shape of tensor bert/embeddings/word_embeddings ([21128, 128]) from checkpoint reader.

这是因为bert代码和albert不是兼容的,需要替换成albert的对应代码,方法也很简单,把bert使用的modeling.py替换成albert的modeling.py就可以了

添加这两个文件(modeling_albert.py就是albert的modeling.py,我这里改了个名字):

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容