1.引言 为什么要并行 近几年，依赖大规模标注数据和大量的可学习参数，深度神经网络才能异军突起，占得机器学习半壁江山。然而，也是因为这两点使得深度学习的训练变得极其困难，尤其...
发简信
IP属地：上海
-
GPU卡的底层通信原理 -
阅读笔记-Less is More: Focus Attention for Efficient DETR论文链接： 代码链接： 1.动机 本文主要针对的是DETR类方法过高的计算复杂度问题，具体而言是encoder中所有的位置都作为key带来的高计算代价。针对该问题，目前已经有...
-
嗯，这么说是有道理的。作者认为low-level更关注局部信息，所以使用了vanilla attention，划分block也符合local的目标。
阅读笔记 - The Devil in Linear Transformer
来源：https://www.researchgate.net/publication/364419868_The_Devil_in_Linear_Transformer[h...
-
阅读笔记-NVAutoNet: Fast and Accurate 360 3D Perception for Self-Driving论文链接：https://arxiv.org/pdf/2303.12976.pdf[https://arxiv.org/pdf/2303.12976.pdf] 1. 动机和贡...
-
阅读笔记-Image as Set of Points论文链接：https://arxiv.org/pdf/2303.01494.pdf[https://arxiv.org/pdf/2303.01494.pdf]项目链接：htt...
-
阅读笔记- MetaFormer Baseline for Vision源码地址：https://github.com/sail-sg/metaformer[https://github.com/sail-sg/metaformer] 1. 动机...
-
阅读笔记- Spatial DETR: Robust Scalable Transformer-Based 3D Object Detection from Multi-view Camera ...来源：https://markus-enzweiler.de/downloads/publications/ECCV2022-spatial_detr.pdf[https:/...
-
阅读笔记- Li3DeTr: A LiDAR based 3D Detection Transformer这篇文章整体没什么好说的，只是将Deformable DETR应用到了LiDAR 3D检测任务上，所以我们这里看一下其细节部分就行。 1. 方法 下图是Li3DeTr 的整体...
-
阅读笔记-Transformer Quality in Linear Time这篇文章的目的是为了解决transformer 处理长序列任务遇到的计算复杂度较高的问题。为了解决这个问题，许多工作聚焦于探索更有效的注意力机制，比如linear atten...
-
阅读笔记 - The Devil in Linear Transformer来源：https://www.researchgate.net/publication/364419868_The_Devil_in_Linear_Transformer[h...
-
元素之前的关系更多的是指特征上的关系，因为是内积关系可以理解为相似度。pos embed主要是用来保证transformer中的排列可变性，但大多数方法中将表观特征与位置特征直接叠加，所以算内积时也会有位置嵌入的相似度
阅读笔记-Deformable DETR: Deformable transformers for end-to-end object detection
作者团队：商汤，中科大，港中文来源：arXiv:2010.04159v2代码：https://github.com/fundamentalvision/Deformable-...
-
@喜欢沈倦 需要执行以下 models/ops/ 下面的make.sh, 编译安装
代码阅读-deformable DETR （三）
这一篇我们来分析一下将 multi-scale deformable attention 取代self-attention的transformer的构造。 首先来看一下编码器...
