본 논문은 유해 물질 사고 대응을 위한 언어 모델의 활용 가능성을 연구한다. 응급 구조대원이 방대한 화학 물질 관련 지침을 수동으로 처리하는 문제를 해결하기 위해, 언어 모델이 중요한 정보를 신속하고 정확하게 이해하고, 위험을 식별하며, 권고안을 제공할 수 있는지 평가한다. 이를 위해, 응급 대응 지침 및 PubChem 데이터베이스의 1,035개 유해 물질에 대한 질문으로 구성된 새로운 벤치마크, Chemical Emergency Response Evaluation Framework (ChEmREF)를 개발했다. ChEmREF는 화학 물질 표현 변환, 응급 대응 생성, 화학 안전 및 인증 시험 기반 도메인 지식 질문 답변의 세 가지 과제로 구성된다. 최고 성능 모델은 비정형 유해 물질 화학 물질 표현 변환에서 68.0%의 정확도, 사고 대응 권고안에 대한 LLM Judge 점수 52.7%, HAMZAT 시험에서 63.9%의 객관식 정확도를 기록했다.
