Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DISC: DISC: Dynamic Decomposition Improves LLM Inference Scaling

Created by
  • Haebom

저자

Jonathan Light, Wei Cheng, Benjamin Riviere, Wu Yue, Masafumi Oyamada, Mengdi Wang, Yisong Yue, Santiago Paternain, Haifeng Chen

개요

본 논문은 대규모 언어 모델의 추론 확장 방법을 개선하기 위해 동적 분해(dynamic decomposition) 기법을 제안합니다. 기존의 추론 확장 방법들은 문제를 고정된 크기의 단계 또는 토큰 그룹으로 나누어 처리하는 반면, 동적 분해는 추론 과정 중에 문제를 자동적으로 적응적으로 분해하여 관리 가능한 단계들로 나눕니다. 특히 어려운 단계를 세분화하고 샘플링 우선순위를 부여함으로써 계산 자원을 효율적으로 할당합니다. APPS, MATH, LiveCodeBench와 같은 벤치마크 실험 결과, 동적 분해는 토큰 단위, 문장 단위, 단일 단계 분해와 같은 고정된 전략보다 성능이 우수하며, pass@10 오류율을 각각 5.0%, 6.7%, 10.5% 감소시키는 것으로 나타났습니다.

시사점, 한계점

시사점:
대규모 언어 모델의 추론 효율성을 크게 향상시킬 수 있는 새로운 방법 제시.
어려운 문제를 효과적으로 처리하기 위한 적응적이고 자동적인 단계 분할 전략의 효용성 증명.
다양한 추론 확장 기법의 성능 개선에 기여할 가능성 제시.
한계점:
제안된 방법의 일반화 가능성 및 다양한 모델/문제 유형에 대한 적용성에 대한 추가 연구 필요.
동적 분해 과정 자체의 계산 비용 및 복잡도에 대한 분석 필요.
특정 벤치마크에 대한 결과이며, 다른 벤치마크에서도 동일한 성능 향상을 보일지에 대한 추가 검증 필요.
👍