[PyTorch]中的随机mask以及根据句子的长度进行mask

  • new_empty是获取一个同样device和同样dtype的tensor，bernoulli_(p)是根据概率p产生0,1序列(p是0)，expand_as扩展到同一维度。
def drop_tokens(embeddings, word_dropout):
    batch, length, size = embeddings.size()
    mask = embeddings.new_empty(batch, length)
    mask = mask.bernoulli_(1 - word_dropout)
    embeddings = embeddings * mask.unsqueeze(-1).expand_as(embeddings).float()
    return embeddings, mask
  • sequence_mask，tensor.lt letter than所有小于的是true。
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容