论文浅尝 | 通过依赖掩码语法引导预训练提升关系抽取

作者：很楠不爱3 | 2024-03-27 23:54:51

踩

二阶掩码

笔记整理：王大壮

链接: https://aclanthology.org/2022.findings-acl.147v1.pdf

动机

关系抽取是一项重要的自然语言处理任务，旨在预测给定文本中两个给定实体之间的关系。其中，对文本上下文信息的良好理解对于实现出色的模型性能至关重要。在不同的上下文信息里，句法信息已被证明对任务有帮助。然而，现有研究大多数需要对现有基线架构进行修改以利用句发信息，而本文受预训练任务启发，设计了相应的句法依赖预测预训练任务来增强编码器，避免对基线架构的改动。

论文方法

本文方法主要可以分为3步，模型整体框架如下：

1.句法依赖提取

•首先需要使用

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/很楠不爱3/article/detail/327621