On Synthesizing Data for Context Attribution in Question Answering
Created by
Haebom
저자
Gorjan Radevski, Kiril Gashteovski, Shahbaz Syed, Christopher Malon, Sebastien Nicolas, Chia-Chien Hung, Timo Sztyler, Verena Heu{\ss}er, Wiem Ben Rim, Masafumi Enomoto, Kunihiro Takeoka, Masafumi Oyamada, Goran Glava\v{s}, Carolin Lawrence
개요
본 논문은 대규모 언어 모델(LLM)의 질문응답(QA) 과정에서 발생하는 환각(hallucination) 문제를 해결하기 위해 문맥 귀속(context attribution)에 초점을 맞추고 있습니다. LLM 기반 문맥 귀속 접근 방식으로 제로샷 추론, LLM 앙상블, 그리고 대형 LLM이 생성한 합성 데이터를 이용한 소형 LLM의 파인튜닝을 연구합니다. 핵심 기여는 새로운 합성 데이터 생성 전략인 SynQA인데, 이는 선택된 문맥 문장을 바탕으로 LLM이 문맥을 명확히 지칭하는 QA 쌍을 생성합니다. SynQA를 통해 생성된 합성 데이터는 다양한 QA 작업 및 도메인에서 소형 LLM의 파인튜닝에 효과적임을 보여주며, 사용자 연구를 통해 QA의 문맥 귀속에서 소형 LLM의 유용성을 검증합니다.
시사점, 한계점
•
시사점:
◦
SynQA를 활용한 합성 데이터 생성 전략은 소형 LLM의 문맥 귀속 성능 향상에 효과적임을 제시합니다.
◦
제로샷 추론, LLM 앙상블, 파인튜닝 등 다양한 LLM 기반 문맥 귀속 접근 방식을 비교 분석하여 실용적인 방안을 제시합니다.
◦
사용자 연구를 통해 실제 QA 환경에서의 소형 LLM 기반 문맥 귀속의 유용성을 검증합니다.
•
한계점:
◦
SynQA로 생성된 합성 데이터의 질에 대한 추가적인 분석이 필요할 수 있습니다.
◦
다양한 종류의 환각이나 복잡한 질문에 대한 일반화 성능에 대한 추가적인 연구가 필요합니다.
◦
사용자 연구의 규모 및 참여자 구성에 따라 결과의 일반화 가능성에 제한이 있을 수 있습니다.
