본 논문은 대규모 언어 모델(LLM)의 금융 분야 활용에 발맞춰, 신뢰할 수 있는 AI 서비스 제공을 위한 정확한 정보 검색(IR)의 중요성을 강조합니다. 기존 벤치마크가 실제 은행 시나리오의 복잡한 정보 요구 사항을 제대로 반영하지 못하는 문제를 해결하기 위해, LLM 기반 질의 생성 방식을 통한 도메인 특화 IR 벤치마크 구축 방법론을 제안합니다. 이 방법론을 구체화하여 단일 및 다중 문서 질의 생성과 향상된 추론 기반 정답성 평가 방식을 결합한 파이프라인을 구축했으며, 이를 통해 기존 접근 방식보다 인간 판단에 더 가깝게 평가할 수 있었습니다. 이 방법론을 활용하여 204개의 공식 은행 문서를 기반으로 815개의 질의를 포함하는 KoBankIR을 구축했습니다. 실험 결과, 기존 검색 모델이 KoBankIR의 복잡한 다중 문서 질의에 어려움을 겪는 것을 확인했으며, 이는 도메인 특화 벤치마크 구축을 위한 제안된 접근 방식의 가치와 금융 분야의 향상된 검색 기술의 필요성을 강조합니다.
