본 논문은 건설 현장의 위험 및 위험 요소 식별을 자동화하여 안전 관리를 향상시키는 방법을 제안합니다. 기존의 대규모 언어 모델 기반 연구는 복잡한 위험 특징을 다루는 데 어려움을 겪는 이미지-텍스트 매칭 기반의 협업 추론 방식과 고비용의 학습 및 일반화 성능 저하 문제를 겪는 전문가 데이터셋을 이용한 지시 미세조정 또는 대화 안내 방식으로 나뉩니다. 본 논문에서는 유사 사례 검색 강화를 이용한 위험 식별 방법을 제안합니다. 외부 지식과 검색된 사례 맥락을 프롬프트 미세조정을 통해 통합하여 제한된 도메인 지식과 약한 특징 연관성으로 인한 오판을 완화합니다. 이 방법은 검색 라이브러리, 이미지 유사성 검색, 대규모 모델 검색 강화의 세 가지 모듈로 구성되어 학습 없이 효율적인 인식을 가능하게 합니다. 실제 건설 데이터에 대한 실험 결과, GLM-4V의 인식 정확도가 35.49% 향상된 50%를 달성하는 등 정확도, 맥락 이해, 안정성을 향상시키는 것으로 나타났습니다. 이는 위험 감지에 대한 새로운 이론적, 기술적 지원을 제공합니다.
