Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LoGU: Long-form Generation with Uncertainty Expressions

Created by
  • Haebom

저자

Ruihan Yang, Caiqi Zhang, Zhisong Zhang, Xinting Huang, Sen Yang, Nigel Collier, Dong Yu, Deqing Yang

개요

본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 문제를 해결하기 위해 장문 생성에서의 불확실성 모델링을 제시합니다. 기존 연구가 단문 질의응답에 초점을 맞춘 것과 달리, 본 연구는 장문 생성에서의 불확실성 표현 과제(LoGU)를 새롭게 정의하고, '불확실성 억압'과 '불확실성 불일치'라는 두 가지 주요 과제를 제시합니다. 이를 해결하기 위해, 원자적 주장(atomic claim) 기반의 불확실성 개선 데이터 수집 프레임워크와 두 단계의 학습 파이프라인(지도 학습 미세 조정 및 직접 선호도 최적화)을 제안합니다. 세 가지 장문 지시 따르기 데이터셋에 대한 실험 결과, 제안된 방법이 정확도 향상, 환각 감소, 응답의 포괄성 유지를 동시에 달성함을 보여줍니다.

시사점, 한계점

시사점:
장문 생성에서의 불확실성 모델링에 대한 새로운 접근 방식 제시
불확실성 억압 및 불일치 문제 해결을 위한 효과적인 데이터 수집 및 학습 전략 제시
LLM의 환각 문제 감소 및 정확도 향상에 기여
장문 응답의 포괄성 유지
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요
다양한 유형의 장문 생성 태스크에 대한 적용성 검증 필요
원자적 주장의 정의 및 분할에 대한 주관성 존재 가능성
사용된 데이터셋의 특성에 따른 결과의 일반화 가능성 제한
👍