Resnet
-
深度神经网络真的是网络层数越多好吗？
image.png
-
过多的层不一定会带来更好的效果，因此何凯明提出了Resnet。针对深层的网络中一些是有作用的一些是没有作用的，通过残差连接可以降低无效网络层的权重，从而减少对结果的影响。
image.png
image.png
RNN
image.png
image.png
Transformer （VIT）
-
位置编码和patch序列计算
image.png
image.png
transformer的感受野更加大，更容易获取全局信息，缺点是吃数据。
-
如何做图像的位置编码？
image.png
这个结论只针对于分类任务。
TNT
-
外部transformer就是原始的，内部的是针对每个patch进行超像素划分。
image.png
image.png
image.png
