关于Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）_multi-head attention与self attention

作者：知新_RL | 2024-03-25 04:53:28

踩

multi-head attention与self attention

题外话：最近受大语言模型的风潮影响，在准备换一份与微调/应用大模型的相关的工作。为了成功的实现这一个阶段性目标，准备重新从开山之作Attention is all you need开始复习。同时也为了增加自己的理解和练习自己的输出能力，打算将所有的学习内容整理成文章，如果有同学觉得内容有用的话，那更是锦上添花啦

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/知新_RL/article/detail/307089