当前位置:   article > 正文

【2023 · CANN训练营第一季】应用开发深入讲解① AscendCL概述_ascendcl能够进行()

ascendcl能够进行()

        体系化学习AscendCL应用开发流程,目标为对昇腾CANN有初步了解并且可以基于昇腾CANN独立开发一个CV类图片应用。

【2023 · CANN训练营第一季】应用开发深入讲解① AscendCL概述

【2023 · CANN训练营第一季】应用开发深入讲解② 华为弹性云服务器(ECS)搭建介绍

【2023 · CANN训练营第一季】应用开发深入讲解③ 快速入门(基于ResNet-50网络模型的图片分类应用)

【2023 · CANN训练营第一季】应用开发深入讲解④ 模型转换(ATC工具)


        通过本部分内容,了解ACL(AdcendCL)的功能架构、基本概念以及接口的典型应用流程与实现方法,能够基于本部分的样例,来扩展进行其他应用的开发。

目录

1 ACL简介

2 ACL基本概念

Host

Device

同步/异步

进程/线程

Context

Stream

Event

AIPP

3 主要接口调用流程

 ACL的Hellow World代码


1 ACL简介

        AscendCL(Ascend Computing Language,昇腾计算语言)接口是昇腾计算开放编程框架,是对低层昇腾计算服务接口的封装。它提供运行时资源(例如设备、内存等)管理、模型加载与执行、算子加载与执行、图片数据编解码/剪裁/缩放处理等API库实现在昇腾CANN平台上进行深度学习推理计算、图形图像预处理、单算子加速计算等能力。简单来说,就是同一的API框架,实现对所有资源的调用。

● AscendCL的优势如下:

1、高度抽象:算子编译、加载和执行的API归一,相比每个算子一个API,AcendCL大幅减少API数量,降低了复杂度;

2、向后兼容:AsendCL能够向后兼容,以确保软件升级后,基于旧版本进行编译的程序依然可以在新版本上运行;

3、零感知芯片:同一套AsendCL接口可以实现应用代码统一,对于多款昇腾处理器可以无差异运行。

● AscendCL的主要应用场景如下:

1、开发应用:用户可以直接调用AscendCL提供的接口,来开发图片分类、目标识别等应用;

2、供第三方框架调用:用户可以通过第三方框架调用AscendCL接口,以便使用昇腾AI处理器的计算能力;

3、供第三方开发lib库:用户可以使用AscendCL封装实现第三方lib库,以便提供昇腾AI处理的运行管理、资源管理等能力。


2 ACL基本概念

Host

        指与Device相连的X86服务器、ARM服务器等,利用其提供的NN(Neural-Network)计算能力完成业务。

Device

        指安装了芯片的硬件设备,利用PCIe接口与Host侧连接,为Host提供NN计算能力。

同步/异步

        同步或异步是站在调用者和执行者角度观察的。在当前场景下,若在Host调用接口后需要等待Device执行完成后再返回,则表示Host的调度是同步的;若在Host调用接口后不等待Device执行完成再返回,则表示Host的调度是异步的。

进程/线程

        如无特别注明,则表示是Host上的进程/线程。

Context

        Context作为一个容器,管理所有对象(包括Stream、Event、设备内存等)的生命周期。不同的Context的Stream、Event是完全隔离的,无法建立同步等待关系。

        Context分为两种:

默认Context:调用aclrtSetDevice接口来指定用于运算的Device时,系统会自动隐式地创建一个默认Context,一个Device对应一个默认Context,默认Context不能通过aclrtDestroyContext接口来释放。

显式创建的Context:在进程或线程中调用aclrtCreateContext接口,以显式地创建一个Context。

Stream

        Stream用于维护一些异步操作的执行顺序,以确保按照应用程序中的代码调用顺序在Device上执行。基于Stream的kernel执行和数据传输能够实现以下几种类型的并行:

1、Host运算操作和Device运算操作并行;

2、Host运算操作和“Host到Device的数据传输”并行;

3、Device运算操作和“Host到Device的数据传输”并行;

4、Device内的运算并行。

        Stream分两种:

默认Stream:调用aclrtSetDevice接口指定用于运算的Device时, 系统会自动隐式地创建一个默认Stream,一个Device对应一个默认Stream,默认Stream不能通过aclrtDestroyStream接来释放。

显式创建的Stream:在进程或线程中调用aclrtCreateStream接口,以显式地创建一个Stream。

Event

        支持调用ACL接口来同步Stream之间的任务,包括同步Host与Device之间的任务、Device与Device间的任务。

        例如,若stream2的任务依赖stream1 的任务,如果要保证stream1中的任务先完成,这时可创建一个Event,并将Event插入到stream1,在执行stream2的任务前,先同步等待Event完成。

AIPP

        AIPP(AI Preprocessing)用于在Al Core上完成图像预处理,主要有:

色域转换:转换图像格式;

图像归一化:减均值/乘系数;

抠图:指定抠图起始点,抠出神经网络需要大小的图片。

        AIPP区分为静态AIPP和动态AIPP。静态AIPP和动态AIPP只可选择一种来处理图片,不能同时配置静态AIPP和动态AIPP两种方式。

● 静态AIPP:

        模型转换时设置AIPP模式为静态,同时设置AIPP参数,模型生成后,AIPP参数值被保存在离线模型(*.om) 中,每次模型推理过程采用固定的AIPP预处理参数(无法修改)。如果使用静态AIPP方式,多Batch情况下共用同一份AIPP参数。

● 动态AIPP:

        模型转换时仅设置AIPP模式为动态,每次模型推理前,根据需求,在执行模型前设置动态AIPP参数值,然后在模型执行时可使用不同的AIPP参数。设置动态AIPP参数值的接口请参见设置动态AIPP参数。如果使用动态AIPP方式,多Batch可使用不同的AIPP参数。


3 主要接口调用流程

 ACL的Hellow World代码

        任何编程语言都有自己的Hellow World代码,接下来同样展示ACL的Hellow World代码,以对其有一个初步的认识。以下代码功能为初始化ACL,初始化成功后即去初始化并结束:

  1. #include <iostream>
  2. #include "acl/acl.h"
  3. #define INFO_LOG(fmt, args...) fprintf(stdout, "[INFO] " fmt "\n", ##args)
  4. #define WARN_LOG(fmt, args...) fprintf(stdout, "[WARN] " fmt "\n", ##args)
  5. #define ERROR_LOG(fmt, args...) fprintf(stdout, "[ERROR] " fmt "\n", ##args)
  6. using namespace std;
  7. int main()
  8. {
  9. INFO_ LOG("ACL Hello World.");
  10. // ACL init
  11. const char *aclConfigPath = "acl.json";
  12. aclError ret = acllnit(aclConfigPath);
  13. if (ret != ACL_ ERROR_ NONE){
  14. ERROR LOG("acl init failed");
  15. }
  16. INFO_ LOG("acl init success");
  17. ret = aclFinalize();
  18. if (ret != ACL_ ERROR_ NONE) (
  19. ERROR LOG("finalize acl failed");
  20. }
  21. INFO_ LOG("end to finalize acl");
  22. return 0;
  23. }

        通过华为云资源,在集成了昇腾310处理器(Device)的x86架构的主机上运行(Host),能够得到以下运行结果:

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/笔触狂放9/article/detail/869114
推荐阅读
相关标签
  

闽ICP备14008679号