본 논문은 모델의 검색 및 추론 능력을 시험하는 고난이도 다단계 질의 응답(QA) 데이터셋 구축의 어려움을 해결하기 위해, 반구조적 지식 소스에서 고난이도 훈련용 다단계 질문을 생성하는 자동화된 하향식 방법인 BMGQ를 제시한다. BMGQ 시스템은 자연어 추론(NLI) 기반 관계 유형 및 다양성 인식 확장을 통해 다양한 증거 클러스터를 생성하고, 역 질문 구성을 통해 단일 신호로는 정보를 얻기 어렵지만 결합 시 표적 개체를 고유하게 식별하는 간접적인 단서를 구성한다. 또한, 다중 모델 합의 필터링과 구조적 제약 분해 및 증거 기반 매칭을 결합한 2단계 평가 파이프라인을 통해 품질을 보장한다.
시사점, 한계점
•
시사점:
◦
SFT/RL 훈련 및 까다로운 평가에 적합한 복잡하고 검색 저항적인 질문을 생성하는 확장 가능한 프로세스를 제공한다.
