A Multimodal Manufacturing Safety Chatbot: Knowledge Base Design, Benchmark Development, and Evaluation of Multiple RAG Approaches
Created by
Haebom
Category
Empty
저자
Ryan Singh, Austin Hamilton, Amanda White, Michael Wise, Ibrahim Yousif, Arthur Carvalho, Zhe Shan, Reza Abrisham Baf, Mohammad Mayyas, Lora A. Cavuoto, Fadel M. Megahed
개요
본 논문은 산업 현장의 안전 교육 시스템 개선을 위해 대규모 언어 모델 기반의 멀티모달 챗봇을 제안한다. 설계 과학 연구 방법을 사용하여 높은 정확성, 낮은 지연 시간, 낮은 비용이라는 세 가지 요구 사항을 충족하는 챗봇을 개발했다. 이 챗봇은 검색 증강 생성을 사용하여 큐레이션된 규제 및 기술 문서를 기반으로 응답한다. 브리지포트 수동 밀, Haas TL-1 CNC 선반, Universal Robots UR5e 협동 로봇 등 3가지 대표적인 기계에 대한 전문가 검증 질문-답변 쌍으로 구성된 도메인별 벤치마크를 개발하여 24가지 RAG 구성을 평가했다. 결과적으로, 최고 성능을 보인 챗봇 구성은 86.66%의 정확도, 10.04초의 평균 지연 시간, 쿼리당 0.005달러의 평균 비용을 달성했다.
