#01 原理 前文中我们已经描述过MLP列并行与行并行的基础原理。简单回顾一下： 权重按列切：输入不能切分，得到的是结果，shape是不完整的，最终的结果需要all-gat...
发简信
IP属地：天津
-
推理引擎TP并行-MLP流程 -
推理引擎TP并行-MLP基础概念
#01基础概念 张量并行是一种模型并行策略，它将神经网络层的权重矩阵在不同设备间进行分割，使每个设备只负责部分计算，从而实现并行处理。在MLP中，主要通过两种方式实现张量并行...
-
CUDA知识点之Bank Conflict(4)- Z-Order排布#01 基础原理 在前面的文章中，我们已经知道，shared memory 访存是通过 memory transaction （内存事务）进行的，一个 memory tran...
-
CUDA知识点之Bank Conflict(3)-向量化访问#01 背景 在前文的讨论中，我们分析了一个warp内的每个线程访问4个Byte的情况，这样所有线程发起一次读写请求，可以访问到128 Byte的 Shared Memory...
-
CUDA知识点之Bank Conflict(2)-冲突避免#01 前情回顾 前面的文章中，我们简单分析了shared memory Bank Conflict的基础概念，本文我们来对如何避免Bank冲突进行分析。 需要注意的是，不同...
-
CUDA知识点之Bank Conflict(1)-概念CUDA共享内存是一种位于GPU芯片上的高速内存，其读写带宽远高于全局内存（约10倍以上），读写延迟也显著降低（约20~30倍）。这使得共享内存成为CUDA编程中提升性能的关...
-
huggingface模型下载tips
登陆huggingface账户 通过snapshot_download下载模型 如果需要登陆token： modelscope模型下载 hf格式转gguf gguf量化 典型...
-
Rust Trait
观感 Rust的Trait和Golang的interface看起来非常相似，从开发者角度来看，都可以实现具体类型的抽象化。 golang: Rust: 从上面的代码可以简单看...
-
Rust手动管理内存
为了确保安全性，Rust在零抽象的基础上，限制了很多易导致潜在bug的操作，比如直接指针操作，以及长生命周期等等，但是在某些情况下，如果涉及到操作比较底层的数据，往往难免自行...
-
Rust利用自定义drop实现defer
在Rust中，当一个变量生命周期终结时，会自动进行变量回收，一般情况下，这个回收过程是自动完成的，比如一个新建的struct会被自动释放内存，但是在某些情况下，需要自定义dr...
-
Rust范型与Unsize类型
概念 Sized是Rust编译阶段检查对象操作的一个基本依据，Rust只允许操作已知大小的对象, 未知大小的对象只能操作它的指针(&)。 默认情况下，任何类型参数都是Size...
-
Rust范型(2) - 范型约束
trait中的范型 在定义trait时，可以使用范型： Dagongren是一个trait，包含了banzhuan(&self) -> T方法，凡是实现了该方法的结构体，均可...
-
Rust范型(1) - 范型基础
简介 C/C++、Rust都属于强类型语言，在定义变量或者是传参时，必须明确指定数据的数据类型。明确指定类型对于程序员，或者是编译器来讲，可以使得阅读代码更加清晰，但是很多时...
-
Rust全局变量之once_cell
在前文中我们分析了使用lazy_static来构造全局变量，典型用法如下: once_cell 提供了 unsync::OnceCell 和 sync::OnceCell 这...
-
Rust线程间传递字符串与并发编程
问题背景 在并发编程场景下，消息传递是一个最基本的操作，例如，在Golang中，可以简单的通过chan来传递，而在Rust中，也提供了类似的channel机制用于线程间的消息...
-
Rust self可变性污染
问题背景 来看一个简单的结构体定义： 在结构体B中包含了一个结构体A，如果需要在A的foo函数中对A中的变量进行修改，则A中的foo函数需要修改参数为&mut self，此时...