热门标签
热门文章
- 1用于视觉识别的深度卷积网络空间金字塔池化方法_需要1.2毫秒才能生成227×227图像的分类分数
- 2回顾十大数据恢复软件，帮助用于恢复丢失的文件！_disk drill pro好用吗
- 3matlab crash,Matlab Crash - Java Virtual Machine
- 4USB VID&PID 表_vid0e8d pid1887是什么设备
- 5感知器及双月实验
- 6【论文精读】Learning Transferable Visual Models From Natural Language Supervision
- 7Git回退版本的方式_git回退到某个版本
- 8scrum回顾会议标准七步法_敏捷 回顾会 指导原则
- 9GitHub 一周热点汇总 #2 (2023/12/17-12/23)_ollama github
- 10LeetCode动态规划基础题-总结(超级长文)_一个人从一个房间走到另一个房间需要走n米,这个人每步可以走1米或2米,他一共有多
当前位置: article > 正文
注意力机制QKV理解
作者：很楠不爱3 | 2024-03-31 00:47:40
赞
踩
qkv
- 注意力机制说白了就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义1个tensor就够了呢？不够啊！如果每个input只有一个相应的q，那么q1和q2之间做乘法求取了a1和a2的关系之后，这个结果怎么存放怎么使用呢？而且a1和a2之间的关系是对偶的吗？如果a1找a2和a2找a1有区别怎么办？只定义一个这模型是不是有点太简单了
-
一个不够就定义两个，于是有了q和k。q你可以理解为代表自己用的，用q去和别的输入找关系；k理解为给别人用的，专门对付来跟你找关系的输入。这样子，用自己的q去和别人的k（当然和自己的k也行）做乘法，就可以得到找出的关系：权重 α
-
仅定义q和k两个够吗？可能也还是不够的。找出来的关系是要用的，不用等于白找。权重α 是要对输入信息做加权，才能体现找到的关系的价值的。那跟输入直接加权行吗？这么做也不是不行，就是显得直接和生硬了点。所以又定义了个v。要知道，v和q、k一样，都是通过系数矩阵对输入a做乘法得到的。所以定义了个v大概等于又对a加了一层可以学习的参数，然后对经过参数调整后的a再去做加权、把通过注意力机制学到的关系给用上。所以，通过α 和v的乘法进行加权操作，最终得到输出o
声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/342507
推荐阅读
相关标签
