Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling

Created by
  • Haebom
Category
Empty

저자

Hang Zheng, Hongshen Xu, Yuncong Liu, Lu Chen, Pascale Fung, Kai Yu

개요

본 논문은 대규모 언어 모델(LLM)의 환각 현상 문제를 해결하기 위해 명시적 지식 경계 모델링(EKBM) 프레임워크를 제안합니다. EKBM은 빠른 추론 시스템과 느린 추론 시스템을 통합하여 신뢰성과 사용성을 조화시킵니다. 빠른 시스템은 자신감 수준이 표시된 응답을 생성하고, 불확실한 예측에 대해서는 느린 시스템이 표적 추론을 수행하여 정확도를 향상시킵니다. 하이브리드 학습 파이프라인을 통해 모델의 자기 인식을 향상시키면서 작업 성능 저하를 방지합니다. 대화 상태 추적 작업에 대한 평가 결과, EKBM은 불확실성 기반 기준 모델보다 우수한 신뢰성을 달성하며, 낮은 계산 오버헤드를 유지하면서 정확도를 크게 향상시키는 것을 보여줍니다.

시사점, 한계점

시사점:
LLM의 환각 현상 문제 해결을 위한 새로운 프레임워크(EKBM) 제시
빠른 추론과 느린 추론 시스템의 통합을 통한 신뢰성과 사용성의 조화
하이브리드 학습 파이프라인을 통한 자기 인식 향상 및 성능 저하 방지
불확실성 기반 기준 모델 대비 우수한 신뢰성 및 정확도 달성
낮은 계산 오버헤드 유지
한계점:
제시된 프레임워크의 일반화 성능에 대한 추가적인 연구 필요
다양한 작업 및 데이터셋에 대한 실험적 검증 필요
느린 추론 시스템의 계산 비용 최적화에 대한 추가적인 연구 필요
👍