极智开发 | 谈谈昇腾 Ascend310 AI Core 资源利用率_昇腾310相当于

  欢迎关注我的公众号 [极智视界]，获取我的更多学习笔记

  大家好，我是极智视界，本文主要谈谈昇腾 Ascend310 AI Core 资源利用率，概念类似于上篇《【经验分享】谈谈 GPU 利用率》中提到的 Nvidia GPU 利用率。

  在昇腾 Ascend310 上使用 npu-smi info watch -i 1 -c 0 命令可以查看卡 1 的 device 0 的信息，涉及到利用率的内部硬件是 AI Core、AI CPU、 控制 CPU、 Memory。

  一张推理卡内可能有多个 AI Core、多个 AI CPU，其中 AI Core、AI CPU、控制 CPU 的布局如下图：

  这里要讲的 AI Core 主要包含 CUBE 矩阵运算单元 、Vector 矢量运算单元 和 Scalar 标量运算单元，其中不同类型指令可以流水线并行执行，拿 CUBE 和 Vector 来说，示意如下：