最近，有很多小伙伴问我，如果他们想自己基于MindIE镜像中的文件适配新模型，可以怎么做？ 为了实现这个目标，首先需要了解MindIE-LLM模型在推理过程中的代码调用流程，...
发简信
IP属地：陕西
-
MindIE-LLM ATB模型推理全流程解析
-
MindIE DeepSeek MTP特性定位策略
最近MindIE开始支持DeepSeek MTP（multi token prediction）特性了，用于推理加速。但是有些开发者打开MTP开关后，没有发现明显的性能提升。...
-
大模型推理显存和计算量估计方法
最近做吞吐量调试涉及到输入batch_size的设置，为了把算力和显存用起来，同时不触发out of memory，需要提前估计大模型推理过程中的显存占用，我参考了MindI...
-
DeepSeek-R1源码解读
最近和开发者做了很多DeepSeek-R1模型相关的推理项目，这两天抽时间把hugging face上面的源码拉下来仔细看了一遍，在这里做一个分享。主要是解析MOE部分的代码...
-
昇腾训练建链超时定位策略
使用torch+mindspeed训练时，可能出现类似“wait socket establish timeout, role[0] rank[1] timeout[120]...
-
《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》阅读笔记
最近昇腾提供的大EP PD分离推理解决方案非常火，很多开发者都开始使用了。正好这两天也看了一篇PD分离的经典论文，就是Kimi采用的PD分离架构：Mooncake。 背景 传...
-
MindIE PD分离部署Q&A
PD分离是一种近年来兴起的推理加速部署方案，kimi、deepseek都进行了工程落地。昇腾MindIE组件也支持了PD分离部署能力，参考链接为 https://www.hi...
-
attention计算过程的一些细节
最近，有粉丝问我，attention结构中计算qkv的时候，为什么要做kvcache呢？他看了一些文章，没看懂。 为什么要做kvcache？ 假设模型的输入序列长度是2，隐藏...
-
qwen模型 MindIE PD分离部署问题定位
背景 使用MindIE提供的PD分离特性部署qwen2-7B模型，使用k8s拉起容器，参考这个文档进行部署：https://www.hiascend.com/document...
-
DeepSeek模型MOE结构代码详解
其实在DeepSeek-R1爆火之前，DeepSeek V2在我们行业就已经妇孺皆知了，它独特的MOE结构值得研究一下。这篇文章是基于 ZOMI酱 的2个视频写的，这2个视频...
-
MindIE LLM场景快速上手实验MindIE是昇腾自研推理框架，本实验手册可指导小白用户快速掌握MindIE在LLM（large language model）场景的基本功能，包括：大模型推理功能测试、大模...
-
昇腾 msmodelslim w8a8量化代码解析
最近有很多朋友都在部署deepseek模型，而且都用到了模型量化这个功能，目的是减少显存占用、提升推理速度。pic上图是w8a8量化算法流程，主要包含4步： ①，使用昇腾 m...
-
昇腾 msmodelslim w8a8量化代码解析
最近有很多朋友都在部署deepseek模型，而且都用到了模型量化这个功能，目的是减少显存占用、提升推理速度。 上图是w8a8量化算法流程，主要包含4步： ①，使用昇腾 msm...
-
qwen2.5 7b w8a8量化推理
最近qwen2.5系列模型有点火，在昇腾上跑了一下，发现性能稍微有点弱，于是想采用量化推理来提升一下性能，在昇腾官网找到了这篇指导：https://www.hiascend....
-
qwen2.5 7b w8a8量化推理
最近qwen2.5系列模型有点火，在昇腾上跑了一下，发现性能稍微有点弱，于是想采用量化推理来提升一下性能，在昇腾官网找到了这篇指导：https://www.hiascend....
-
llama2 70B mindie推理开箱报错问题
这周支撑了一个llama2 70B MindIE开箱推理报错的问题，给大家分享一下。 1. 背景 事情是这样，开发者搞了一台昇腾800I A2服务器，这个服务器的配置是8卡，...
-
mindspeed-llm源码解析（一）preprocess_data
mindspeed-llm是昇腾模型套件代码仓，原来叫"modelLink"。这篇文章带大家阅读一下数据处理脚本preprocess_data.py（基于1.0.0分支），数...
-
Torch-npu报错定位技巧1，训练功能问题定位思路 训练功能问题定位思路 Torch-npu错误码[https://link.zhihu.com/?target=https%3A//www.hiasc...
-
昇腾AI行业案例（六）：基于 PraNet 的医疗影像分割
00 - 前言 欢迎学习《基于 PraNet 的医疗影像分割》实验。在本实验中，你将深入了解如何运用计算机视觉（CV）领域的 AI 模型，搭建一个高效精准的医疗影像分割系统，...
-
昇腾AI行业案例（五）：基于 DANet 和 Deeplabv3 模型的遥感图像分割
00 - 前言 欢迎学习《基于 DANet 和 Deeplabv3 模型的遥感图像分割》实验。在本实验中，你将深入了解如何运用计算机视觉（CV）领域的 AI 模型，搭建一个高...