Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Asking LLMs to Verify First is Almost Free Lunch

Created by
  • Haebom
Category
Empty

저자

Shiguang Wu, Quanming Yao

개요

대규모 언어 모델(LLM)의 추론 능력을 훈련 비용이나 과도한 테스트 시간 샘플링 없이 향상시키기 위해, 제안된 솔루션을 생성하기 전에 모델이 제공된 후보 답변(사소하거나 무작위 답변 포함)을 검증하도록 유도하는 Verification-First (VF) 전략을 소개합니다. 이 접근 방식은 인지적으로 더 쉽고 표준적인 Chain-of-Thought (CoT)와 상호 보완적인 "역방향 추론" 프로세스를 촉발하여 모델의 비판적 사고를 효과적으로 유도하여 논리적 오류를 줄입니다. 또한 VF 전략을 Iter-VF로 일반화하여 모델의 이전 답변을 사용하여 검증-생성 프로세스를 반복하는 순차적 테스트 시간 스케일링(TTS) 방법을 개발했습니다. 다양한 벤치마크(수학적 추론부터 코딩, 에이전트 작업까지)와 다양한 LLM(오픈 소스 1B에서 최첨단 상업용 모델까지)에 대한 광범위한 실험 결과, 무작위 답변을 사용한 VF가 최소한의 계산 오버헤드로 표준 CoT보다 일관되게 우수하며, Iter-VF가 기존 TTS 전략보다 우수함을 확인했습니다.

시사점, 한계점

VF (Verification-First) 전략은 LLM의 추론 능력을 향상시키기 위한 효과적인 방법으로, 훈련 비용이나 추가 샘플링 없이 구현 가능합니다.
무작위 답변으로 시작하는 VF 전략조차도 표준 CoT보다 우수한 성능을 보입니다.
Iter-VF는 기존 TTS (Test-Time Scaling) 전략보다 향상된 성능을 제공합니다.
제안된 방법들은 다양한 벤치마크와 LLM에서 일관된 성능 향상을 보였습니다.
논문에서 구체적인 한계점은 명시되지 않았습니다.
👍