본 논문은 복잡하고 역동적인 환경에서 단일 모달 감지 시스템의 한계를 극복하기 위해, 대규모 언어 모델(LLM) 기반 분산 통합 다중 모달 감지 및 의미 통신(LLM-DiSAC) 프레임워크를 제안합니다. LLM-DiSAC는 RF 및 카메라 모듈을 갖춘 여러 개의 협업 감지 장치와 집계 센터로 구성됩니다. 감지 장치에서는 RF-비전 융합 네트워크(RVFN)가 RF 및 시각 데이터의 특징을 추출하고 교차 어텐션 모듈을 통해 다중 모달 통합을 수행합니다. LLM 기반 의미 전송 네트워크(LSTN)는 LLM 기반 디코더를 사용하여 채널 매개변수(예: 송수신기 거리, SNR)를 활용하여 의미 왜곡을 완화하여 통신 효율을 높입니다. 집계 센터에서는 적응형 집계 어텐션 메커니즘을 갖춘 트랜스포머 기반 집계 모델(TRAM)을 사용하여 분산된 특징을 융합하고 감지 정확도를 향상시킵니다. 데이터 프라이버시를 위해 2단계 분산 학습 전략을 도입하여 장치 수준에서의 로컬 모델 학습과 중간 특징을 사용한 중앙 집계 모델 학습을 수행합니다. Genesis 시뮬레이션 엔진으로 생성된 합성 다중 뷰 RF-시각 데이터셋에 대한 평가를 통해 LLM-DiSAC의 성능이 우수함을 보여줍니다.
