flash attention的重点解读和CUDA编程实现-V2_flash attention v2cuda并行

作者：秋刀鱼在做梦 | 2024-07-13 00:06:30

踩

flash attention v2cuda并行

在上一篇博客添加链接描述我们介绍了flash attention的基本原理以及基本实现，然而有许多地方有无法解释的内容，这里本人尝试对flash attention做一个细致的解释，下面我们描述的都是如下图的flash attention V2。
在这里插入图片描述

flash attention的并行度

上面这个图片展示的是串行算法的思想，但是我们并行CUDA代码肯定是并行的，因此我们需要考虑上面这个算法的并行度从何而来。我们来看下面这个分块过程：
直接考虑输出矩阵

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/秋刀鱼在做梦/article/detail/816711