본 논문은 인간 사회에 효과적으로 참여하기 위해서는 끊임없이 변화하는 상황에서 정보를 적응하고, 필터링하고, 정보에 입각한 결정을 내리는 능력이 중요하다는 점을 강조합니다. 로봇과 지능형 에이전트가 인간의 삶에 더욱 통합됨에 따라, 특히 역동적이고 정보가 풍부한 시나리오에서 인간의 인지 부하를 이러한 시스템에 분산시킬 필요성이 커지고 있습니다. 이러한 필요를 충족하기 위해, 본 논문에서는 다중 모드 정보 검색 및 생성 시스템인 Multi-RAG를 제시합니다. Multi-RAG는 비디오, 오디오 및 텍스트를 포함한 다중 소스 정보 스트림을 통합하고 추론하여 상황 이해를 개선하고 인지 부하를 줄이는 것을 목표로 합니다. 장기적인 인간-로봇 파트너십을 위한 기반으로서, Multi-RAG는 역동적이고 인간 중심적인 상황에서 적응형 로봇 지원을 위한 기초로서 다중 모드 정보 이해가 어떻게 활용될 수 있는지 탐구합니다. 현실적인 인간 지원 대리 작업에서 Multi-RAG의 기능을 평가하기 위해, 본 논문에서는 어려운 다중 모드 비디오 이해 벤치마크인 MMBench-Video 데이터셋을 사용하여 Multi-RAG의 성능을 벤치마킹했습니다. 그 결과 Multi-RAG는 기존의 오픈 소스 비디오 대형 언어 모델(Video-LLM) 및 대형 비전-언어 모델(LVLMs)보다 우수한 성능을 달성하면서 더 적은 리소스와 적은 입력 데이터를 사용하는 것으로 나타났습니다. 이러한 결과는 Multi-RAG가 역동적인 실제 환경에서 미래 인간-로봇 적응형 지원 시스템을 위한 실용적이고 효율적인 기반이 될 수 있음을 보여줍니다.