NSF-MAP: Neurosymbolic Multimodal Fusion for Robust and Interpretable Anomaly Prediction in Assembly Pipelines
Created by
Haebom
저자
Chathurangi Shyalika, Renjith Prasad, Fadi El Kalach, Revathy Venkataramanan, Ramtin Zand, Ramy Harik, Amit Sheth
개요
본 논문은 조립 라인의 이상 탐지를 위한 다중 모달 이상 예측을 위한 신경 기호 AI 및 융합 기반 접근 방식을 제안합니다. 시간 시계열 및 이미지 기반 융합 모델을 도입하여 의사 결정 수준 융합 기술을 활용합니다. 다중 모달 학습에서 시간 시계열 및 이미지 기반 의사 결정 수준 융합 모델링, 융합을 위한 전이 학습, 지식 주입 학습 등 세 가지 새로운 접근 방식을 기반으로 합니다. 자체 구축 및 공개된 다중 모달 데이터셋을 사용하여 새로운 방법을 평가하고, 전처리 기법 및 융합 모델의 영향을 평가하기 위해 포괄적인 ablation study를 수행합니다. 결과는 전이 학습을 사용하는 신경 기호 AI 기반 융합 접근 방식이 시간 시계열 및 이미지 데이터의 상호 보완적인 강점을 효과적으로 활용하여 향상된 성능으로 조립 라인에서 이상 예측을 위한 강력하고 해석 가능한 접근 방식을 제공함을 보여줍니다. 데이터셋, 결과 재현 코드, 보충 자료 및 데모는 https://github.com/ChathurangiShyalika/NSF-MAP 에서 이용 가능합니다.
