Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Generating Verifiable CoT from Execution-Traces

Created by
  • Haebom
Category
Empty

저자

Shailja Thakur, Vaibhav Saxena, Rohan Kulkarni, Shivdeep Singh, Parameswaran Selvam, Hima Patel, Hiroshi Kanayama

개요

언어 모델이 코드 실행에 대해 추론하도록 가르치는 것은 중요한 과제이며, 기존의 Chain-of-Thought (CoT) 프롬프팅은 표면적으로 그럴듯하지만 논리적으로 결함이 있는 추론 패턴을 학습하는 문제가 있었습니다. 본 논문은 코드의 동적 동작을 캡처하고, 실행 흔적을 자연어로 서술하여 실행에 기반한 CoT 생성을 제안합니다. 이 방법은 모든 추론 단계가 프로그램의 실제 계산을 반영하도록 보장하여 논리적 환각을 제거합니다. CruxEval, LiveCodeBench-Exec, CruxEval-Input, HumanEval을 사용하여 제안된 방법론을 평가했으며, 바이-방향 추적 기반 데이터로 훈련된 모델이 성능을 향상시켰습니다.

시사점, 한계점

시사점:
코드 실행 흔적을 기반으로 한 CoT 생성을 통해 언어 모델의 추론 능력 향상.
실행에 기반한 추론은 논리적 오류를 제거하여 모델의 신뢰성을 높임.
코드 추론, 생성, 설명 작업 전반에서 성능 향상.
한계점:
논문 자체에서 구체적인 한계점 언급은 없음.
👍