Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Optimal Self-Consistency for Efficient Reasoning with Large Language Models

Created by
  • Haebom
Category
Empty

저자

Austin Feng, Marius Alonso, Ambroise Odonnat

개요

본 논문은 Self-consistency (SC) 기법의 확장성 및 샘플 효율성을 분석하고, 이를 바탕으로 새로운 SC 변형 기법인 Blend-ASC를 제안합니다. SC는 여러 답변을 생성하고 가장 빈번한 답변을 선택하는 방식으로, 대규모 언어 모델(LLM)의 성능을 향상시키는 데 사용됩니다. 본 연구는 모드 추정 및 투표 이론을 활용하여 SC의 확장성 및 샘플 효율성을 이론적으로 분석하고, 다양한 샘플링 방식을 비교합니다. Blend-ASC는 질문에 동적으로 샘플을 할당하여 기존 SC 기법 대비 뛰어난 샘플 효율성을 보이며, 하이퍼파라미터 없이 임의의 샘플 예산에 적용 가능합니다.

시사점, 한계점

시사점:
SC의 확장성에 대한 최초의 포괄적인 분석 제공.
모드 추정 및 투표 이론을 활용한 SC의 이론적 분석.
SC의 샘플 효율성에 대한 분석 (고정 할당, 동적 할당).
Blend-ASC 제안: 기존 SC 대비 6.8배 적은 샘플로 state-of-the-art 성능 달성.
Blend-ASC는 하이퍼파라미터가 없으며, 임의의 샘플 예산에 적용 가능.
한계점:
구체적인 데이터셋 및 모델에 대한 정보는 제한적일 수 있음.
Blend-ASC의 일반화 가능성에 대한 추가 연구 필요.
본 연구의 결과가 다른 SC 변형 기법에도 동일하게 적용될 수 있는지에 대한 추가 연구 필요.
👍