Share
Sign In
Self-Consistency on Prompt
자기 일관성은 인공지능 언어 모델의 추론 능력을 향상시키는 새로운 기술입니다. 기존의 연쇄 사고(Chain of Thought, CoT) 방식을 개선하여, 다양한 추론 경로를 생성하고 그 중에서 가장 일관된 답변을 선택합니다. 이 방법은 복잡한 산술적 추론이나 상식적 논리 문제에 효과적입니다.
이 기법은 Xuezhi Wang가 2023년에 발표한 <Self-Consistency Improves Chain of Thought Reasoning in Language Models>연구에서 제안하였습니다.
SELF-CONSISTENCY IMPROVES CHAIN OF THOUGHT REASONING IN LANGUAGE MODELS.pdf843KB
자기 일관성의 작동 방식
다양한 추론 경로 생성: 여러 짧은 CoT 프롬프트를 사용해 다양한 추론 경로를 생성합니다.
일관된 답변 선택: 생성된 경로들 중 가장 일관성 있는 답변을 식별하고 선택합니다.
결과 집계: 여러 추론 경로를 통합하여 최종 답변을 도출합니다
기존 CoT 방식과의 차이
CoT 방식은 직접적인 답변 대신 추론 과정을 단계별로 설명하도록 모델을 유도합니다. 반면, 자기 일관성은 이러한 CoT 방식을 기반으로 여러 추론 경로를 생성하고, 이 중 가장 일관성 있는 결과를 선택하는 방식으로 확장되었습니다
실제 활용법
이번에도 수학문제가 있다고 칩시다. 문제는 다음과 같습니다.
"영희는 60km 자전거 여행 중에 두 번 정차했습니다. 첫 번째 정차는 20km 후에 했고, 두 번째 정차는 여행이 끝나기 15km 전에 했습니다. 첫 번째와 두 번째 정차 사이에 영희가 여행한 거리는 얼마인가요?"
일반적으로 프롬프트에 입력하면 이렇게 나타납니다.
영희는 총 60km을 여행했습니다. 첫 번째 정차 후 60 - 20 = 40km을 여행했습니다. 따라서 답은 40km입니다.
역시 틀려버렸습니다. 어찌보면 간단한 빼기 문제인데 LLM 친구에게는 쉽지 않았었나 봅니다. 이것을 자기 일관성 모델로 풀게 시켜 보겠습니다.
추론 경로 1: "영희는 총 60km을 여행했습니다. 첫 번째 정차는 20km 후, 두 번째 정차는 여행 종료 15km 전이었습니다. 따라서 첫 번째와 두 번째 정차 사이에는 60 - 20 - 15 = 25km을 여행했습니다. 답은 25km입니다."
추론 경로 2: "60km 여행 중 첫 번째 정차는 20km에, 두 번째 정차는 60 - 15 = 45km에 했습니다. 첫 번째와 두 번째 정차 사이의 거리는 45 - 20 = 25km입니다. 답은 25km입니다."
두가지 추론 모두가 정답을 말하고 있습니다. 이걸 사용한게 자기 일관성 기법입니다. 이걸 더 쉽게 예시로 들면 다음과 같습니다.
Q: 영희는 60km 자전거 여행 중에 첫 번째 정차를 20km 후에 했습니다. 첫 번째 정차 후 그녀가 여행한 거리는 얼마인가요?
A: 영희는 첫 번째 정차를 20km 후에 했습니다. 따라서, 첫 번째 정차 후 남은 거리는 60 - 20 = 40km입니다.
Q: 영희의 두 번째 정차는 여행이 끝나기 15km 전에 이루어졌습니다. 전체 여행 거리에서 두 번째 정차까지의 거리는 얼마인가요?
A: 여행이 끝나기 15km 전에 두 번째 정차가 있었습니다. 따라서, 전체 여행 거리에서 두 번째 정차까지의 거리는 60 - 15 = 45km입니다.
Q: 첫 번째와 두 번째 정차 사이의 거리는 얼마인가요?
A: 첫 번째 정차 후 남은 거리는 40km이고, 두 번째 정차까지의 거리는 45마일입니다. 따라서, 두 정차 사이의 거리는 45 - 20 = 25km입니다.
어떤 차이인지 아시겠나요?
"영희는 60km 자전거 여행 중에 두 번 정차했습니다. 첫 번째 정차는 20km 후에 했고, 두 번째 정차는 여행이 끝나기 15km 전에 했습니다. 첫 번째와 두 번째 정차 사이에 영희가 여행한 거리는 얼마인가요?"
라는 문장을 분절해서 따로 따로 답변을 하면서 문제를 풀게 한 것 입니다. 이렇게 하면 GPT-3, LLaMA2, Claude 등에서 풀지 못했던 문제가 풀리는 것을 확인 할 수 있으며 추후에 나오는 생각 나무 기법과 함께 사용하면 CoT의 단점이 였던 모델 규모에 따른 격차를 어느 정도 극복 할 수 있게 됩니다.
ⓒ 2023. Haebom, all rights reserved.
출처 표시를 하고, 저작권자 허락 하에 영리적 목적으로 쓰일 수 있습니다.
