补充信息型提示

生成知识提示是刘家成研究团队在2022年发表的论文《常识推理的生成知识提示》中提出的技术。生成知识提示是一种直接从语言模型生成知识并将其作为附加输入来回答问题的方法。这种方法在需要常识推理或事实准确性的任务中尤为有用。

Generated Knowledge Prompting for Commonsense Reasoning.pdf844.23KB

其原理其实很简单，只分为两个步骤。第一，利用语言模型生成与问题相关的知识陈述。第二，把生成的知识整合进决策过程，对每句知识陈述进行预测后，选出置信度最高的预测答案。

看到这里如果你立刻想到了GPT，那说明你已经掌握了这个内容。实际上，这一技术在GPT中也被部分采用。它的过程就是输入知识，给出基于这些知识的回答，然后把用户的输入或答案整合起来，从而得到更优的回复。

针对具体的问题，通过语言模型（使用GPT-3.5）生成知识陈述。这是通过几次演示实现的，每次演示都包含属于该任务类型的问题及相应有帮助的知识陈述。所谓的知识陈述，就是明确呈现与特定主题或问题相关信息的句子。说是“宣言”，其实并不是什么宏伟的东西。

按照论文中的示例，如下所示：

“在高尔夫球中，有哪些环节是你会努力获得比别人更高分数的吗？”

在高尔夫球运动中，有一部分目标就是争取比别人取得更高的分数。

生成的知识=>高尔夫的目标是以最少的杆数完成比赛。得分最低的玩家获胜。

“在高尔夫球中，有哪些环节你会努力获得比其他人更高的分数？”

在高尔夫球运动中，球员的目标是以最少的杆数完成赛程。得分最低的人获胜。

生成的知识提示是大语言模型的重要进步，尤其适用于需要理解复杂或细微信息的任务。通过在提示中创造和利用知识，大模型能给出更准确、更贴合上下文的回答。也就是说，把生成知识融合进提示后，语言模型就能正确理解高尔夫是分数越低越好。这个例子也说明，通过融入生成的知识，模型的理解力和准确率都能大幅提升。

稍微补充一下，事实上，如果用VectorDB或嵌入模型，很多事情都会变得很简单。只要善用提示，这确实是一种非常高效的方法。