DisastIR은 재난 관리에 특화된 최초의 포괄적인 정보 검색 평가 벤치마크입니다. 기존의 정보 검색 벤치마크가 일반적인 영역이나 의료, 금융과 같은 특정 영역에 초점을 맞춘 것과 달리, DisastIR은 재난 관리 시나리오에서 발생하는 독특한 언어적 복잡성과 다양한 정보 요구를 고려합니다. 9,600개의 다양한 사용자 질의와 130만 개 이상의 레이블이 지정된 질의-구절 쌍으로 구성되며, 6가지 검색 의도와 8가지 일반적인 재난 범주(301개의 특정 이벤트 유형 포함)에서 파생된 48개의 구별되는 검색 작업을 다룹니다. 30개의 최첨단 검색 모델에 대한 평가 결과, 작업 간에 상당한 성능 차이가 있으며, 어떤 단일 모델도 보편적으로 뛰어나지 않음을 보여줍니다. 일반 영역과 재난 관리 특정 작업 간의 상당한 성능 차이를 보여주어, 재난 관리 시나리오에서 효과적인 의사 결정을 지원하기 위한 IR 모델 선택을 안내하기 위해 재난 관리 특화 벤치마크의 필요성을 강조합니다. 소스 코드와 DisastIR은 GitHub에서 공개적으로 이용 가능합니다.