Enhancing Self-Consistency and Performance of Pre-Trained Language Model_selfconsistency 代码

作者：Monodyee | 2024-04-01 15:11:34

踩

selfconsistency 代码

本文是LLM系列文章，针对《Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference》的翻译。

通过自然语言推理增强预训练语言模型的自一致性和性能

摘要
1 引言
2 相关工作
3 通过关系检测进行一致性校正
4 实验
5 讨论与结论
6 局限性

摘要

虽然大型预训练语言模型很强大，但它们的预测在测试输入之间往往缺乏逻辑一致性。例如，最先进的Macaw问答(QA)模型回答“麻雀是鸟吗?”鸟有脚吗?麻雀有脚吗?为了解决这种失败模式，我们提出了一个框架，即通过关系检测一致性校正(ConCoRD)，用于使用预训练的自然语言推理(NLI)模型提高预训练的NLP模型的一致性和准确性，而无需微调或重新训练。给定一批测试输入，ConCoRD为每个输入采样几个候选输出，并实例化一个因子图，该因子图既说明了模型对孤立的每个答案选择的可能性的信念，也说明了NLI模型对成对的答案选择兼容性的信念。我们证明了一个加权的MaxSAT求解器可以在这个因素图下有效地计算高质量的答案选择ÿ

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/Monodyee/article/detail/349396