Sign In

Path-Consistency: Prefix Enhancement for Efficient Inference in LLM

Created by
  • Haebom
Category
Empty

저자

Jiace Zhu, Yingtao Shen, Jie Zhao, An Zou

개요

본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위해 자기 일관성(self-consistency) 방법의 효율성을 높이는 새로운 방법인 경로 일관성(path-consistency)을 제안합니다. 기존 자기 일관성 방법은 다중 샘플링으로 인해 많은 계산 자원과 시간을 소모하는 한계가 있습니다. 경로 일관성은 초기 생성된 답변의 신뢰도를 활용하여 가장 유망한 경로의 접두사를 식별하고, 이를 기반으로 후속 분기 생성을 동적으로 안내하여 불필요한 샘플링을 줄임으로써 추론 속도를 높입니다. 실험 결과, 다양한 데이터셋(수학적 추론, 상식 추론, 기호적 추론, 코드 생성)에서 추론 지연 시간을 7.8%~40.5%까지 크게 단축하면서 정확도를 유지하거나 개선하는 것을 보여줍니다.

시사점, 한계점

시사점:
LLM의 추론 효율성을 크게 향상시킬 수 있는 새로운 방법 제시.
기존 자기 일관성 방법의 계산 비용 문제를 효과적으로 해결.
다양한 추론 과제에서 정확도 저하 없이 속도 향상을 달성.
계산 자원이 제한적인 환경에서 LLM의 활용 가능성 확대.
한계점:
제안된 방법의 효과는 사용되는 LLM과 데이터셋에 따라 다를 수 있음.
경로 일관성이 모든 종류의 추론 문제에 효과적인지에 대한 추가 연구 필요.
접두사 선택 전략의 최적화에 대한 추가 연구 필요.
👍