An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks

作者：凡人多烦事01 | 2024-04-25 17:33:40

踩

an efficient memory-augmented transformer for knowledge-intensive nlp tasks

本文是LLM系列文章，针对《An Efficient Memory-Augmented Transformer for
Knowledge

一种用于知识密集型NLP任务的高效内存增强转换器

摘要
1 引言
2 相关工作
3 高效内存增强Transformer
4 EMAT的训练流程
5 实验
6 分析
7 结论
局限性

摘要

获取外部知识对于许多自然语言处理任务至关重要，例如问答和对话。现有的方法通常依赖于将知识存储在其参数中的参数模型，或者使用可以访问外部知识源的检索增强模型。参数模型和检索增强模型在计算效率和预测准确性方面具有互补优势。为了结合这两种方法的优势，我们提出了高效内存增强Transformer（EMAT）——它将外部知识编码为键值内存，并利用快速最大内积搜索进行内存查询。我们还引入了预训练任务，允许EMAT对信息性键值表示进行编码，并学习将多个内存槽集成到Transformer中的隐式策略。在各种知识密集型任务（如问答和对话

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/凡人多烦事01/article/detail/486468