Training-free LLM Verification via Recycling Few-shot Examples
작성자
- Haebom
카테고리
Empty
저자
Dongseok Lee, Jimyung Hong, Dongyoung Kim, Jaehyung Kim
ReFeri: Few-shot examples를 활용한 LLM 출력 검증 프레임워크
개요
LLM의 추론 과정의 확률적 특성과 결과의 가변성으로 인한 문제를 해결하기 위해, 본 논문은 Few-shot 예시를 활용하여 LLM 출력을 검증하는 새로운 프레임워크인 ReFeri를 제안한다. ReFeri는 기존 Few-shot prompting 방식과 달리, Few-shot 예시를 출력 생성뿐 아니라 후보 출력 평가에도 활용한다. 베이즈 규칙에서 영감을 얻은 두 가지 점수를 결합하여 출력을 평가하고, 추가적인 LLM 추론을 통해 확신과 문맥적 일관성을 모두 갖춘 후보를 선택한다.
시사점, 한계점
•
시사점:
◦
추가 학습 없이도 LLM의 정확도를 향상시키는 효과적인 방법 제시 (평균 4.8% 향상).
◦
다양한 LLM과 7가지 다른 태스크에 대한 실험을 통해 프레임워크의 일반화 능력 입증.
◦
Few-shot 예시의 새로운 활용 방안 제시 (출력 생성 외 평가).
•
한계점:
◦
구체적인 한계점은 논문에서 명시되지 않음. (Abstract에 정보 부재)
