赞
踩
思维链:一种简单的提示方法,通过一系列的中间推理步骤,可以大大提高大语言模型执行复杂推理的能力。下图为使用标准提示词和使用思维链提示词的输出的区别:
与传统Prompt的区别: 传统Prompt的流程是直接从输入到输出的映射,而Cot则是输入——思维链——输出。
一个完整的包含Cot的Prompt往往由指令、逻辑依据、示例三部分组成。一般来说,指令用于描述问题并且告知大模型的输出格式;逻辑依据指的是Cot的推理过程(一般包含问题的解决方案、中间推理步骤以及外部知识);示例指的是以少样本的方式为大模型提供输入输出对的基本格式,每一个示例都包含:问题、推理过程与答案。以下为更详细的介绍。
下图为COT实例:《输入——思维链——输出》
指令 (Instruction)
示例:
问题:解释什么是光合作用?
指令:简要描述光合作用的过程,并列出它的主要作用。
逻辑依据 (Rationale)
示例:
问题:解释什么是光合作用?
逻辑依据:光合作用是植物、藻类和某些细菌使用阳光将二氧化碳和水转化为氧气和葡萄糖的过程。这是一个复杂的多步骤过程,涉及到光反应和暗反应等阶段,主要作用是产生氧气和为生物提供能量。
示例 (Exemplars)
作用:提供具体的问题、推理过程和答案实例,作为模型处理类似问题的参考。
重要性:示例可以帮助模型学习如何格式化其回答,理解问题的深层含义,以及如何引入适当的推理来支持其结论。
示例:
问题:解释什么是蒸馏?
推理过程:蒸馏是一种分离混合物的技术,常用于分离液体或提纯物质。在这个过程中,混合物加热至沸点,使最易挥发的组分蒸发,然后通过冷凝再将其分离出来。
答案:蒸馏是利用物质之间沸点的差异来分离它们的过程。
以是否包含示例为区分,可以将Cot分为Zero-Shot-CoT 与 Few-Shot-CoT。如下图所示:
Zero-Shot-CoT (零样本CoT)
案例如下所示:
Few-Shot-CoT (少样本CoT)
案例如下所示:
Cot的具体优点如下:
Cot的缺陷如下:
如下图所示(使用Cot的PaLM 540B模型在GSM8K基准上表现出极高的性能):
Cot的适用场景如下:
自我验证(self-consistency checking)是Chain of Thought (CoT) 推理中的一个重要概念。这种方法不仅在推理过程中寻找问题的答案,而且还要检查和验证这些推理过程的逻辑一致性和正确性。自我验证的目的是提高答案的可靠性和准确性,确保模型在解答复杂问题时能够自我纠正潜在的错误或不一致之处。
如何实施自我验证
在CoT框架中,自我验证通常涉及以下几个步骤:
应用场景
self-consistency checking 案例如下图所示:
参考文章:
Chain-of-Thought Prompting Elicits Reasoning
in Large Language Models论文地址.
一文读懂:大模型思维链 CoT(Chain of Thought)
那女孩对我说,说我保护她的梦
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。