今日arXiv最热NLP大模型论文：无需提示也能推理！Google DeepMind新研究揭示AI内在推理能力

在人工智能领域，大语言模型（LLMs）已经在各种复杂的推理基准测试中展现出了令人瞩目的性能。传统上，这些推理能力是通过精心设计的提示技术来激发的，例如少量示例提示（few-shot prompting）或零示例提示（zero-shot prompting）。然而，这些方法往往涉及到手动密集的提示工程，限制了它们在不同任务中的通用性。

本项工作探索了一个不同的视角，提出了一个关键的问题：LLMs能否在没有特定提示的情况下有效地进行推理？研究发现一令人惊讶的结果，通过简单地改变解码过程，可以从预训练的LLMs中自然地激发出链式推理（CoT）路径。这种解码修改绕过了CoT提示，并且是完全无监督的，不需要模型调整。

研究还揭示了预训练语言模型固有的推理能力，这一发现与之前侧重于改进提示以促进推理的研究形成了鲜明对比。研究发现，当模型在其解码路径中存在CoT时，对其最终答案的信心增加。利用这种增加的信心，研究者提出了CoT解码方法，以选择更可靠的解码路径，从而在各种推理基准测试中显著提高了模型性能。

实验结果表明，CoT解码在解码过程中自然地揭示了CoT推理路径，显著提高了模型的推理能力，超越了贪心解码。此外还观察到这些路径在预训练数据中频繁出现的任务中更为普遍，而在复杂的合成任务中则不那么常见，在这些任务中，可能仍然需要高级提示技术来触发这些推理路径。

这与McCoy等人（2023年）和Prystawski等人（2023年）的发现一致。在这些场景中还发现，少量CoT示例在指导模型如何解决任务方面发挥了更大的“教学”作用，模型主要模仿这些提示的格式来生成准确的推理路径。

总之，研究表明，通过改变解码策略，可以有效地从LLMs中激发出推理能力，而无需依赖于特定的提示技术。这一发现不仅为理解LLMs的内在推理能力提供了新的视角，而且为未来的研究提供了新的方向，即如何利用这些模型固有的推理能力来解决更广泛的问题。

论文标题:Chain-of-Thought Reasoning Without Prompting

公众号「夕小瑶科技说」后台回复“Chain”获取论文PDF！

CoT-decoding的新视角：无需提示即可激发推理

1. CoT-decoding方法介绍

CoT-decoding是一种新的解码方法，它能够从预训练的大语言模型（LLMs）中激发出推理能力，而无需依赖于传统的提示技术。这种方法通过探索解码过程中的替代top-声明：本文内容由网友自发贡献，转载请注明出处：【wpsshop】