AutoTest 框架分析OneFlow框架的算子对齐任务

作者：IT小白 | 2024-04-11 10:44:32

踩

本文介绍OneFlow的算子AutoTest框架来分析我们在开发算子时OneFlow是如何完成算子对齐任务的。该自动测试框架还可以轻松移植到其他深度学习训练框架。代码在这里。

1. 传统算子对齐

任何深度学习训练框架都需要验证算子的正确性。那么，在深度学习框架中验证算子正确性的一般做法是什么呢？以百度的深度学习框架PaddlePaddle为例，一般的做法是调用其他标准库（例如调用cudnn的卷积验证卷积算子的正确性，调用scipy的erf验证erf算子的正确性）或者直接使用Numpy模拟的计算结果（例如，使用Numpy进行模拟来验证全算子的正确性）。 PyTorch还硬编码了一些测试用例，即将固定输入用例的标准答案与算子计算出的结果进行比较，分析算子的正确性。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/404527