学习笔记：在华为昇腾NPU上进行深度学习项目【未完待续】_如何将算法模型部署在华为昇腾npu上

昇腾社区链接： 昇腾社区-官网丨昇腾万里 让智能无所不及
更新： 大模型国产化适配8-基于昇腾MindIE推理工具部署Qwen-72B实战（推理引擎、推理服务化）

场景和功能说明

• 第一种：在cpu或gpu上训练的模型，但要在NPU上执行模型推理；
• 第二种：在NPU上同步训练、推理。

系统信息查询

中括号里的为查询结果示例。
– 查看系统架构：uname -a [aarch64，也称arm64]
– 查看操作系统版本：lsb_release -a [Ubuntu 22.04.3 LTS]
– 查看npu芯片型号：npu-smi info [Ascend310B4]
– 查看npu id：npu-smi info -l
– 查看Atlas产品型号：npu-smi info -t product -i <npu id> [Atlas 200I A2]

1、场景一：非NPU上训练的模型推理

此种使用场景下，cpu或gpu上训练的模型无法直接在nup上执行推理，需要先把训练好的模型转换成.om离线模型，才可以在NPU上执行后续的推理。

1.1 执行方案

step1：在已安装CANN开发环境的机器上，把cpu或gpu上训练的模型转换成.onnx格式 或 pd格式
step2：在安装CANN运行环境的机器上，把onnx格式转om格式。
对应CANN开发环境、运行环境的区别、安装方法见官方文档：CANN软件安装

1.2 学习案例

① 官方gitee项目-支持tensorflow、pytorch的模型转换 这里已经集成了多种开源模型从初始模型 —> onnx模型 —> om模型的转换操作步骤和对应代码。

• 第一阶段：模型转onnx需要写代码完成；
• 第二阶段：.onnx转.om使用atc命令完成，无须写代码。

② 仅onnx模型 —> om模型的转换案例：昇腾社区简单ATC转换案例
③ om模型的推理应用案例 这里的快速链接是昇腾社区下pytorch的应用案例，昇腾社区也集成了其他训练框架的应用案例，可自行查看。
④ 其他网友的分享：[推理部署] 本文内容由网友自发贡献，转载请注明出处：【wpsshop博客】