DisastIR은 재난 관리 특화 정보 검색 평가 벤치마크로, 기존의 일반적 또는 특정 분야(의료, 금융 등) 중심의 정보 검색 벤치마크와 달리 재난 관리 시나리오의 독특한 언어적 복잡성과 다양한 정보 요구를 고려하여 개발되었습니다. 9,600개의 다양한 사용자 질의와 130만 개 이상의 라벨링된 질의-구절 쌍을 포함하며, 6가지 검색 의도와 8가지 일반 재난 범주(301개의 특정 이벤트 유형 포함)에서 파생된 48가지 검색 과제를 다룹니다. 30개의 최첨단 검색 모델 평가 결과, 과제에 따라 성능 차이가 크게 나타나며, 어떤 단일 모델도 모든 과제에서 우수한 성능을 보이지 않았습니다. 일반 도메인과 재난 관리 특화 과제 간의 성능 차이도 상당하여, 재난 관리 의사결정 지원을 위한 효과적인 IR 모델 선택에는 재난 관리 특화 벤치마크가 필수적임을 보여줍니다. 소스 코드와 DisastIR은 GitHub에서 공개됩니다.
