본 논문은 위험 물질 사고를 관리하는 응급 구조대원이 방대한 화학 물질 지침을 수동으로 탐색하는 문제를 해결하기 위해, 최신 언어 모델이 중요한 정보를 신속하고 안정적으로 이해하고, 위험을 식별하며, 권장 사항을 제공할 수 있는지 조사한다. 이를 위해, 응급 구조 매뉴얼(Emergency Response Guidebook) 및 PubChem 데이터베이스의 1,035개의 HAZMAT 화학 물질에 대한 질문으로 구성된 새로운 벤치마크인 ChEmREF(Chemical Emergency Response Evaluation Framework)를 소개한다. ChEmREF는 (1) 구조화된 형태와 비구조화된 형태 간의 화학 물질 표현 변환, (2) 응급 대응 생성, (3) 화학 안전 및 인증 시험의 도메인 지식 질문 답변의 세 가지 작업으로 구성된다. 최고의 모델은 비구조적 HAZMAT 화학 물질 표현 변환에서 68.0%의 정확도, 사고 대응 권장 사항에 대한 LLM Judge 점수 52.7%, HAMZAT 시험에서 객관식 문제 정확도 63.9%를 기록했다.
