On Synthesizing Data for Context Attribution in Question Answering
Created by
Haebom
저자
Gorjan Radevski, Kiril Gashteovski, Shahbaz Syed, Christopher Malon, Sebastien Nicolas, Chia-Chien Hung, Timo Sztyler, Verena Heu{\ss}er, Wiem Ben Rim, Masafumi Enomoto, Kunihiro Takeoka, Masafumi Oyamada, Goran Glava\v{s}, Carolin Lawrence
개요
본 논문은 대규모 언어 모델(LLM) 기반 질의응답(QA)에서 발생하는 환각(hallucination) 문제를 해결하기 위해 문맥 속 정보를 근거로 제시하는 문맥 귀속(context attribution) 작업을 연구합니다. 특히, 제로샷 추론, LLM 앙상블, 그리고 대형 LLM로 생성한 합성 데이터를 이용한 소형 LLM의 미세 조정 세 가지 접근 방식을 조사합니다. 핵심 기여는 합성 문맥 귀속 데이터 생성 전략인 SynQA입니다. SynQA는 선택된 문맥 문장을 바탕으로 LLM이 해당 문장을 근거로 하는 QA 쌍을 생성하여 명확한 귀속 경로를 가진 합성 훈련 데이터를 생성합니다. 실험 결과, SynQA를 통해 생성된 데이터는 다양한 QA 작업 및 도메인에서 소형 LLM의 문맥 귀속 성능을 향상시키는 데 효과적임을 보여줍니다. 사용자 연구를 통해 SynQA의 합성 데이터로 미세 조정된 소형 LLM의 유용성을 검증합니다.
시사점, 한계점
•
시사점:
◦
SynQA를 이용한 합성 데이터 생성 전략은 소형 LLM의 문맥 귀속 성능 향상에 효과적임을 보여줌.
◦
제로샷 추론, LLM 앙상블, 미세 조정 등 다양한 접근 방식을 비교 분석하여 문맥 귀속 작업에 대한 통찰력 제공.
