본 논문은 자율주행, 로봇공학, 지각 시스템 등 다양한 분야에서 기계 학습 성능 향상에 중요한 기술인 다중 모달 학습에 초점을 맞추고 있습니다. 특히, 자원이 제한된 환경에서 훈련 중 사용 가능한 일부 모달이 추론 중에 없을 수 있는 시나리오를 고려합니다. 기존 프레임워크는 훈련 중 다중 데이터 소스를 효과적으로 활용하고 모달이 감소된 추론을 가능하게 하지만, 주로 단일 에이전트 설정을 위해 설계되었습니다. 이는 연결된 자율 주행 차량(CAV)과 같이 불완전한 데이터 적용 범위가 의사 결정의 사각 지대를 초래할 수 있는 역동적인 환경에서는 심각한 제한이 됩니다. 반대로, 일부 연구는 테스트 시점에서 모달 누락 문제를 해결하지 않고 다중 에이전트 협업을 탐구합니다. 이러한 한계를 극복하기 위해, 본 논문에서는 훈련 중 에이전트가 협력하여 다중 모달 데이터를 공유하고, 테스트 중에는 모달이 감소된 추론을 허용하는 새로운 다중 모달 다중 에이전트 프레임워크인 협업 보조 모달 학습(CAML)을 제안합니다. 사고가 발생하기 쉬운 시나리오에서 CAV에 대한 협업 의사 결정 실험 결과는 CAML이 사고 감지에서 최대 **58.1%**의 향상을 달성함을 보여줍니다. 또한, 협업 의미론적 분할을 위한 실제 항공-지상 로봇 데이터에서 CAML을 검증하여 mIoU에서 최대 **10.6%**의 향상을 달성했습니다.
