본 논문은 대규모 언어 모델(LLM)의 수학적 추론 능력 향상을 위한 토큰 수준 불확실성 추정 프레임워크를 제안한다. LLM의 출력 품질이 다양한 응용 시나리오에서 일관되지 않다는 문제를 해결하기 위해, 저랭크 랜덤 가중치 섭동을 LLM 디코딩에 도입하여 예측 분포를 생성하고, 이를 통해 토큰 수준의 불확실성을 추정한다. 추정된 토큰 수준 불확실성을 집계하여 생성된 시퀀스의 의미적 불확실성을 반영하고, 다양한 난이도의 수학적 추론 데이터셋을 이용한 실험을 통해 제안된 방법이 답변 정확도 및 모델 강건성과 강한 상관관계를 가짐을 보였다. 또한, 불확실성을 이용하여 다중 생성 및 입자 필터링 알고리즘을 통해 모델의 추론 성능을 직접 향상시키는 방법을 탐구하였으며, 기존의 불확실성 추정 방법보다 우수한 성능을 보임을 확인하였다. 이는 LLMs의 추론 생성 평가 및 향상을 위한 효과적인 불확실성 추정의 중요성을 보여준다.
시사점, 한계점
•
시사점:
◦
LLM의 수학적 추론 성능 향상을 위한 새로운 토큰 수준 불확실성 추정 프레임워크 제시
◦
토큰 수준 불확실성이 답변 정확도 및 모델 강건성과의 강한 상관관계를 실험적으로 증명
◦
불확실성 기반의 다중 생성 및 입자 필터링 알고리즘을 통해 모델 성능 향상 가능성 제시
◦
기존 방법 대비 우수한 성능을 통해 효과적인 불확실성 추정의 중요성 강조
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요 (수학적 추론 외 다른 영역으로의 확장)
