본 논문은 복잡하고 역동적인 환경에서 단일 모달 감지 시스템의 한계를 극복하기 위해, 대규모 언어 모델(LLM) 기반 분산 통합 다중 모달 감지 및 의미 통신(LLM-DiSAC) 프레임워크를 제안합니다. LLM-DiSAC은 RF 및 카메라 모듈을 갖춘 여러 개의 협업 감지 장치와 집계 센터로 구성됩니다. 감지 장치에서는 RF-비전 융합 네트워크(RVFN)를 통해 RF 및 시각 데이터를 통합하고, LLM 기반 의미 전송 네트워크(LSTN)를 통해 통신 효율을 높입니다. 집계 센터에서는 트랜스포머 기반 집계 모델(TRAM)을 사용하여 분산된 특징을 융합하고 감지 정확도를 향상시킵니다. 데이터 프라이버시를 위해 2단계 분산 학습 전략을 도입하여 장치 수준의 로컬 모델 학습과 중간 특징을 사용한 중앙 집계 모델 학습을 수행합니다. Genesis 시뮬레이션 엔진으로 생성된 합성 다중 뷰 RF-시각 데이터셋을 사용한 평가 결과, LLM-DiSAC가 우수한 성능을 달성함을 보여줍니다.
