Mamba序列建模架构的理解_mamba原理最通俗介绍火了,一文看懂“transformer挑战者”两大主要思想!网友:年度

作者：木道寻08 | 2024-08-15 07:26:44

踩

mamba原理最通俗介绍火了,一文看懂“transformer挑战者”两大主要思想!网友:年度

序列建模架构Mamba

记录一下刚学到的mambda的基本内容

mambda是改进的RNN，其可以变换为RNN的递归生成形式也可以变换为CNN的并行生成形式。
在推理的时侯为O(n)复杂度。训练时，由于前缀和算法的牛逼，复杂度降到O(nlogn)?

首先是一个简化的RNN形式的公式：
在这里插入图片描述

在这里插入图片描述
y3可以由x0,x1,x2,x3一起并行计算得出

在这里插入图片描述

即用一个网络根据输入预测参数值
在这里插入图片描述

而为了加速计算。则需要求下式，也就是像一个前缀和一样的东西。

那么可以用超强的前缀和并行算法来计算：
在这里插入图片描述

[1] Mamba原理最通俗介绍火了，一文看懂“Transformer挑战者”两大主要思想！网友：年度最佳解读 - 量子位的文章 - 知乎链接: link

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/木道寻08/article/detail/982555