Prompt上的自我一致性

自一致性是一项提升人工智能语言模型推理能力的新技术。它改进了原有的链式思维（Chain of Thought, CoT）方法，可以生成不同的推理路径，并从中选出最一致的答案。这在处理复杂的算术推理或常识性逻辑问题时特别有效。

这个方法最早是在 2023 年由王学智提出的，发表在《自洽性提升语言模型中的思维链推理》一文中。

SELF-CONSISTENCY IMPROVES CHAIN OF THOUGHT REASONING IN LANGUAGE MODELS.pdf823.42KB

•

生成多种推理路径：通过使用几个简短的CoT提示，产生多种不同的推理途径。

•

选择一致答案：在生成的路径中找出最一致的答案并加以选择。

•

结果汇总：整合多个推理路径，得出最终的答案。

CoT 方法是引导模型一步步推理说明过程，而不是直接给出答案。相对地，自一致性是在此基础上生成多条推理路径，并从中选出最一致的一个答案。

我们再来看一道数学题，题目如下：

“英熙在60公里的自行车之旅中停了两次，第一次是在前进了20公里后，第二次是在行程结束前15公里处。那么，第一次和第二次之间英熙骑行了多少公里？”

一般输入到提示时会出现如下内容。

英熙总共骑了60公里。第一次停车后，她骑了60 - 20 = 40公里。因此答案是40公里。

果然还是错了。其实是个很简单的减法问题，对LLM来说也没那么容易。咱们用自一致性模型来解看看。

推理路径1：“英熙总共骑了60公里，第一次停在了前进20公里后，第二次在剩15公里时停的。所以第一次和第二次间她骑了60 - 20 - 15 = 25公里。答是25公里。”

推理路径2：“在60公里行程中，第一站在第20公里，第二站在60 - 15 = 45公里处。两站之间的距离是45 - 20 = 25公里。答案是25公里。”

两种推理路径都得到了正确答案。这用的就是自一致性方法。可以更简单举个例子说明：

问：英熙在60公里的自行车旅行中，第一次停在了前进20公里后。她在第一次停车后骑了多远？

答：英熙第一次停车是在20公里后。所以，第一次停车后剩下的路程是60 - 20 = 40公里。

问：英熙的第二次停车发生在距离终点15公里时。她在全程中到第二次停车之间骑了多少公里？

答：第二次停车是距离终点还有15公里的时候。所以从起点到第二次停车，全程是60 - 15 = 45公里。

问：第一次和第二次停车之间的距离是多少？

答：第一次停车后剩下是40公里，到第二次停车处的距离是45公里。因此，两次停车之间的距离是45 - 20 = 25公里。

你能看出区别了吗？

Younghee 在 60 公里的骑行中停了两次。第一次停在 20 公里后，第二次停在距离骑行结束还有 15 公里。Younghee 第一次停和第二次停之间骑行了多少距离？

这就是通过把句子分段、分别回答，从而解出问题的方法。这样做的话，可以发现之前像 GPT-3、LLaMA2、Claude 难以解决的问题也能得到答案。将来再结合之后会介绍的思维树方法，还能在一定程度上弥补CoT由于模型规模造成的性能差异。