Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Du

这篇论文的标题是《Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality》。其主要探讨了变压器（Transformers）和状态空间模型（SSMs）之间的密切关系。文章提出了一种新的理论框架，通过结构化半分离矩阵的各种分解，将SSMs与注意力的变体联系起来。这一框架允许作者设计出一种新的架构（Mamba-2），其核心层是Mamba的选择性SSM的改进版本，速度提高了2-8倍，同时在语言建模方面仍然具有竞争力。您可以在arXiv网站上阅读完整的论文。

摘要：
本文探讨了变压器（Transformers）和状态空间模型（SSMs）之间的关系，并开发了一个理论框架，将SSMs与注意力机制的各种变体联系起来。通过结构化半分离矩阵的不同分解，作者建立了这两种模型之间的紧密联系。基于此框架，作者设计了一种新的架构（Mamba-2），其核心层是Mamba的选择性SSM的改进版本，速度提高了2-8倍，同时在语言建模方面保持竞争力。
大纲：

1. 引言：介绍变压器模型和状态空间模型在语言建模中的应用，以及两者之间的比较。
2. 理论框架：详细描述结构化状态空间对偶（SSD）框架，包括SSMs和注意力机制之间的联系。
3. 新架构Mamba-2：介绍Mamba-2的设计和实现，以及其相对于传统SSMs和Transformers的优势。
4. 实验结果：展示Mamba-2在语言建模任务中的性能，并与现有模型进行比较。
5. 结论和未来工作：总结研究发现，并提出未来研究方向。
   这篇论文为理解Transformers和SSMs之间的关系提供了新的视角，并为设计更高效的模型提供了新的方法。