본 연구는 파인튜닝 없이 대규모 언어 모델(LLM)을 향상시키는 검색 증강 프레임워크를 제안하여 건설 현장 위험 식별을 다룬다. 복잡한 위험에 대한 이미지-텍스트 매칭의 어려움과 일반화 부족 및 리소스 집약적인 명령어 튜닝 등, 현재 LLM 기반 접근 방식의 한계를 극복한다. 제안된 방법은 프롬프트 튜닝을 통해 외부 지식과 검색된 유사 사례를 동적으로 통합하여 도메인 지식 및 특징 상관 관계에 대한 LLM의 한계를 극복한다. 프레임워크는 사례 데이터베이스, 이미지 검색 모듈 및 LLM 기반 추론 모듈로 구성된다. 실제 현장 데이터에 대한 평가 결과, 제안된 접근 방식은 GLM-4V의 정확도를 50%로 향상시켰으며, 이는 기준선 대비 35.49% 향상된 결과이며, 위험 유형 전반에 걸쳐 일관된 개선을 보였다. LPIPS 및 CLIP 기반 방식을 포함하는 이미지 검색 전략의 효과는 제거 연구를 통해 입증되었다. 제안된 기술은 식별 정확도와 상황 이해를 크게 개선하여 강력한 일반성을 입증하고 건설 현장의 지능형 안전 위험 감지를 위한 실용적인 경로를 제시한다.
