- 1WordPress配置文件wp-config.php自定义路径（提高安全性必做）_wordpress 设置文件路径
- 2python笔记——jieba库_jieba.cut
- 3ICRA2021会议-----SLAM方向汇总_5252b.con
- 4自然语言处理: 第十七章RAG的评估技术RAGAS
- 5机器学习 - 图像识别_机器学习 图形识别
- 6命名实体识别代码阅读_datasets.load_from_disk
- 7【AIGC调研系列】Grok1.5相比Grok1的优势在哪
- 8日常pytho3练习脚本之--分词及自然语言处理
- 9Azure AI 服务之语音识别
- 10微信公众号自动回复聊天机器人实现（PHP）_php 自动对话
DeBERTa讲解
赞
踩
Disentangled attention.
- 相对位置关系很重要
- BERT将绝对位置embedding和词embedding相加，不足以区分词在句中位置关系
-
attention得分计算。H是attention层输出，P是相对位置embedding。在每一层都加入一个位置编码。区别于BERT只在输入加上绝对位置编码。 想法推测来源于transformer XL。
-
第一项内容对内容查询， 二三项分别是位置对内容，内容对位置查询（查表）。第四项位置对位置丢掉。
-
相对位置表, i 在 j 前太远为 0。 i 在 j 后太远为最大值。
-
C->P为例， A ^ \hat A A^ 是每个单词和它周围任一单词的关系（例如对前一个位置得分）。 A [ i , j ] A[i, j] A[i,j]是内容 i 对当前句子位置 j 的得分。所以计算 i - j 然后在 A ^ \hat A A^ 中查表。
-
本质上是只看单词和当前状态 H H H 然后在周围选取value。
Enhanced mask decoder.
- query加上绝对位置编码。
