Self-Consistency Is Losing Its Edge: Diminishing Returns and Rising Costs in Modern LLMs

작성자

Haebom

카테고리

Empty

저자

Chiyan Loo

💡 개요

본 연구는 자기일관성(self-consistency) 기법이 최신 대규모 언어 모델(LLM)의 성능 향상에 기여하는 정도가 감소하고 오히려 비용만 증가시키는 현상을 분석합니다. Gemini 2.5 모델을 활용한 실험 결과, 샘플링 횟수를 늘려도 정확도 향상은 미미한 반면, 토큰 비용은 거의 선형적으로 증가하며, 경우에 따라서는 성능이 저하되는 것으로 나타났습니다. 이는 최신 LLM이 이미 문제를 안정적으로 해결할 수 있기 때문에 추가적인 추론 경로가 노이즈를 발생시킬 수 있음을 시사합니다.

🔑 시사점 및 한계

•

자기일관성은 모델의 성능이 낮을 때 효과적이었으나, 최신 LLM에는 비효율적일 수 있습니다.

•

높은 샘플링 횟수는 오히려 모델의 성능을 저하시키고 불필요한 비용을 유발할 수 있습니다.

•

모델의 단일 통과(single-pass) 신뢰도가 입증된 문제에 대해서는 다중 경로 샘플링을 신중하게 적용해야 합니다.

•

본 연구의 결과는 특정 모델(Gemini 2.5) 및 데이터셋(HotpotQA, MATH-500)에 국한될 수 있으며, 다른 모델이나 문제 유형에 대한 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage