Small Encoders Can Rival Large Decoders in Detecting Groundedness
Created by
Haebom
저자
Istabrak Abbes, Gabriele Prato, Quentin Fournier, Fernando Rodriguez, Alaa Boukhary, Adam Elwood, Sarath Chandar
개요
본 논문은 외부 문맥을 활용하는 대규모 언어 모델(LLM)의 성능 향상에 초점을 맞추고 있습니다. LLM은 제공된 문맥에 정보가 부족할 경우 근거 없는 추측이나 내부 지식에 의존하여 질문에 답변하는데 어려움을 겪습니다. 따라서 문맥에 엄격하게 기반한 응답 생성, 즉 근거 있는 응답 생성이 사실 일관성과 신뢰성을 확보하는 데 필수적입니다. 본 연구는 비용이 많이 드는 LLM의 응답 생성 전에, 주어진 질문이 제공된 문맥에 근거가 있는지 여부를 탐지하는 메커니즘에 집중합니다. 이러한 탐지 메커니즘은 추론 시간과 자원 소모를 크게 줄일 수 있습니다. RoBERTa 및 NomicBERT와 같은 경량의 작업 특화 인코더 모델을 큐레이팅된 데이터셋으로 미세 조정하여 Llama3 8B 및 GPT4o와 같은 최첨단 LLM과 비교할 만한 정확도를 달성하면서 추론 지연 시간을 몇 배나 줄일 수 있음을 보여줍니다. 소스 코드는 GitHub에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
경량 모델을 사용하여 LLM의 근거 없는 응답 생성 문제를 효과적으로 해결할 수 있는 가능성 제시
◦
LLM의 추론 시간 및 자원 소모 감소에 기여
◦
RoBERTa 및 NomicBERT와 같은 경량 모델이 최첨단 LLM과 유사한 성능을 보임을 실증
•
한계점:
◦
큐레이팅된 데이터셋에 대한 의존도가 높을 수 있음. 데이터셋의 질과 양이 모델 성능에 큰 영향을 미칠 수 있음.
