发简信
IP属地：北京
-
昇腾NPU上基于MindIE服务的AIME和MATH500测评方案背景 当前对DeepSeek-R1此类带推理think思维链的模型进行模型能力测评缺乏一个较准确的方，MindIE当前不能对DeepSeek报告...
-
飞桨x昇腾生态适配方案：15_loop算子缺失（下）：for循环替换loop接上一章节内容，将ONNX模型拆分成loop算子部分和非loop算子部分后，分别转换成OM模型，并用for循环替换loop算子计算逻辑，比较OM...
-
飞桨x昇腾生态适配方案：14_loop算子缺失（上）：ONNX模型拆分方案背景 当在线推理的速度无法满足客户要求，使用atc工具将onnx转为om模型走离线推理路径时，遇到NPU不支持LOOP算子的问题，本文提供一...
-
飞桨x昇腾生态适配方案：13_API离线推理ais_bench提供的python API可供使能基于昇腾硬件的离线模型(.om模型)推理。具体介绍可参考API_GUIDE[https://...
-
飞桨x昇腾生态适配方案：12_动态OM推理动态BatchSize OM推理 以档位1 2 4 8档为例，设置档位为2，本程序将获取实际模型输入组Batch，每2个输入为一组，进行组Bat...
-
飞桨x昇腾生态适配方案：11_静态OM推理推理环境准备 ais_bench推理工具简介 昇腾离线OM模型的推理后端是ACL（Ascend Computing Language），其底层采...
-
飞桨x昇腾生态适配方案：10_ONNX转OM本章节介绍 ONNX 模型如何转化为 OM 模型，并在昇腾AI处理器上做离线推理。 昇腾张量编译器（Ascend Tensor Compiler...
-
飞桨x昇腾生态适配方案：09_Paddle转ONNX
本节介绍 PP-OCRv4 模型如何转化为 ONNX 模型。 环境准备 需要准备 PaddleOCR、Paddle2ONNX 模型转化环境，和 ...
-
飞桨x昇腾生态适配方案：08_性能调优方法性能优化问题定界 在通过分析 profiling 文件找出性能瓶颈后，接下来将介绍相关的优化方法。算子时长主要由计算时间和调度时间两部分构成，下...