热门标签
热门文章
- 1Erang 25.1 RabbitMQ二进制文件安装教程_rabbitmq安装二进制安装
- 2streamlit，一个超强的 Python 库
- 3了解Ping、Wget、端口、Netstat和Curl命令
- 4【web系列十六】idea下使用Maven搭建spring boot开发环境_idea开发web项目前期环境搭建
- 5UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 0: invalid continuation byte
- 6三行命令搞定nnUNet v2训练及推理！_nnunet2推理
- 7MacBook配置ll、la、l命令【zsh: command not found】_zsh: command not found: ll
- 8多商家入驻前后端分离商城源码 Spring Cloud+Spring Boot+mybatis+security+uniapp+Redis+MQ+VR全景+b2b2c之java版微信小程序_原生小程序多商户源码
- 9一个基于 axios 的 HTTP 客户端服务，添加响应拦截器处理异常信息utils/request.js讲解_service.interceptors.response.use
- 10maya中的pymel使用小技巧。
当前位置: article > 正文
注意力机制与Transformer_经过注意力机制之后输出的矩阵是什么
作者：AllinToyou | 2024-04-16 10:50:22
赞
踩
经过注意力机制之后输出的矩阵是什么
注意力机制（Attention）
简介
Attention机制可以描述为将一个query和一组key-value对映射到一个输出，其中query，keys，values和输出均是向量。输出是values的加权求和，其中每个value的权重 通过query与相应key的兼容函数来计算。
计算步骤
那么Query，Key，Value是什么意思呢？它们在Attention的计算中扮演着什么角色呢？先看一下Attention的计算方法，整个过程分成7步：
- 如上文，将输入单词转化成嵌入向量；
- 根据嵌入向量得到Q,K,V三个向量；
- 为每个向量计算一个score=Q*K；
- 为了梯度的稳定，Transformer使用了score归一化，即除以√(声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/AllinToyou/article/detail/433731
推荐阅读
相关标签
Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。
