본 논문은 추출형 독해 시스템에서 답변 가능 여부 판단의 어려움을 해결하기 위해, 다중 에이전트 협업 기반의 새로운 데이터 증강 방법론을 제안합니다. 기존의 고비용 수동 주석 방식 대신, 자동으로 증거 기반 질의응답 쌍과 답변 불가능한 질문들을 생성하여 FactGuard-Bench 데이터셋(25,220개, 문맥 길이 8K~128K)을 구축했습니다. 7개의 인기 있는 거대 언어 모델(LLM)을 사용한 실험 결과, 최첨단 모델조차도 전체 정확도 61.79%에 그쳤으며, 답변 불가능한 질문에 대한 추론 능력의 중요성을 강조합니다. 제안된 방법은 효율적인 데이터 선택 및 생성을 통해 기존의 높은 수동 주석 비용을 크게 줄이고, LLM의 학습 및 최적화에 대한 귀중한 통찰력을 제공합니다.
