Python 的自动广播机制
1. 问题来源
问题来源于《动手学深度学习》其中一个小结练习题: 运行A/A.sum(axis=1)，看看会发生什么。请分析一下原因？
2.问题重现
创建一个二维以上的张量，以二维矩阵为例：
import torch
# 创建一个示例矩阵 A
A = torch.tensor([[1.0, 2.0, 3.0],
[4.0, 5.0, 6.0],
[7.0, 8.0, 9.0],
[10.0, 11.0, 12.0]])
print(A/A.sum(axis=1))
报错：
Traceback：
print(A/A.sum(axis=1))
RuntimeError: The size of tensor a (3) must match the size of tensor b (4) at non-singleton dimension 1
3. 问题解读
这是两个张量A和A.sum(axis=1)在执行元素级除法的时候引发的错误，该错误翻译为中文为：在非单一维度1上，A的维度大小是3，A.sum(axis=1)的维度大小是4，两者不匹配。
- 非单一维度non-singleton dimension：在张量中，具有多个元素（大小大于1）的维度。
查看A的形状：为（4, 3）在axis=1这个维度上大小为3，与上述错误信息一致
print(A.shape)
torch.Size([4, 3])
查看A.sum(axis=1)的形状：为（4），但是该张量的只有一个维度axis=0,为什么在错误信息中说在axis=1上大小为4呢？
涉及到自动广播机制
print(A.sum(axis=1).shape)
torch.Size([4])
4. 深入自动广播机制
自动广播（Automatic Broadcasting）是一种在张量处理库（例如NumPy、PyTorch等）中的机制，指的是在执行元素级操作时，使不同形状的张量能够按照一定的规则自动广播（broadcast）其形状而不需要手动地扩展张量的形状，最终使得张量之间形状一致以执行运算。包括维度补齐和维度匹配。
- 维度补齐：使得两个张量的维度数量保持一致，即形状shape的长度一致。具体而言，较小形状的数组会在左侧（最高维度的左侧）自动添加大小为1的维度，以匹配较大形状的数组的维度。这个过程不会实际复制数据，只是通过改变数组的视图来表示。例如：
# (2),(2,1) 将自动补齐为(1,2),(2,1)
# (2,1,5), (5,1) 将自动补齐为(2,1,5),(1,5,1)
- 维度匹配：从右（尾部维度）向左依次匹配两个张量的维度。匹配规则：该维度的大小一致或者其中一个张量的该维度大小为1，则兼容，否则不兼容，广播失败。例如：
# (3), (4) 在axis=0上不相等且没有一个为1，该维度不兼容
A = torch.ones(3)
B = torch.zeros(4)
print(A+B)
Traceback (most recent call last):
print(A+B)
RuntimeError: The size of tensor a (3) must match the size of tensor b (4) at non-singleton dimension 0
再例如：
# (2, 1), (1,8,4,3) 在axis=2上不相等且没有一个为1，该维度不兼容
A = torch.ones((2, 1))
B = torch.zeros((1,8,4,3))
print(A+B)
Traceback (most recent call last):
print(A+B)
RuntimeError: The size of tensor a (2) must match the size of tensor b (4) at non-singleton dimension 2
这也回答了前面的问题：A的形状为（4, 3），A.sum(axis=1)的形状为（4），维度补齐为（4,3）和（1,4），从右到左判断发现维度axis=1这个维度上不兼容，广播失败。
5. 如何快速判断能否广播成功
- 从右到左挨个维度匹配，判断是否维度大小相等或者其中一个为1，遇到不兼容的维度则广播失败
- 遇到维度不够的在左侧添加1的维度，显然新添加的维度是肯定兼容的
- 兼容：
# (4, 1, 2) 和 (1, 3, 2)
# (3, 1, 1, 5) 和 (3, 4, 1, 1)
# (2, 1) 和 (1, 2, 3)
- 不兼容
# (3, 2, 4) 和 (3, 1, 2)
# (5, 1, 3) 和 (2, 5)
# (2, 3) 和 (4, 2)
6. 返回问题
- A/A.sum(axis=1)表示矩阵 A 的每一行（沿轴1的方向）除以该行元素的和。本质上是对这个矩阵行归一化（每一行和为零），这在某些统计和机器学习应用中很常见，用于将数据进行归一化或概率分布化。
- 问题在于A.sum(axis=1)求和操作使得（4,3)维度的A直接少了一个维度变为（4），两者在axis=1上不兼容导致广播失败。
- 为了达到1中的目标可以改写该语句为：A.sum(axis=1， keepdim = True) 保留维度
A = torch.tensor([[1.0, 2.0, 3.0],
[4.0, 5.0, 6.0],
[7.0, 8.0, 9.0],
[10.0, 11.0, 12.0]])
print(A.sum(axis=1, keepdim = True).shape)
print(A/A.sum(axis=1, keepdim = True))
# 新矩阵行相加为1，达到了行归一化的目标
torch.Size([4, 1])
tensor([[0.1667, 0.3333, 0.5000],
[0.2667, 0.3333, 0.4000],
[0.2917, 0.3333, 0.3750],
[0.3030, 0.3333, 0.3636]])
- 也可以使用view(), reshape(), unsqueeze() 添加新维度
- 当然，如果是为了列归一化，则可以直接A/A.sum(axis=0)，A.sum(axis=0)形状为（3），满足自动广播条件
