2022-08-01 深度学习Python笔记

张量除以张量T1/T2和Normalization

在做normalization过程中,张量除以另外一个张量就会用到。

假设我们有一个tensor size为[32, 512]的张量T1,其中32为batch size, 512为features, 为了容易理解,我们所有元素的值都为2:

T1

对T1,我们求它的F范数(所有元素的平方和的算术平方根),按照features所在维度,即dim=1, 这样得到[32, 1]的tensor:

T2部分结果

对T2, 再按照T1的大小:[32, 512]进行扩展,这样每一行都有相同的F范数(为了演示,所有行的值都是相同的):

T2

然后T1/T2:对应元素相除

T_normalized

T_normalized为T1的normalization的结果。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容