본 논문은 인간 사회에서 효과적으로 기능하기 위해서는 끊임없이 변화하는 상황 속에서 정보를 적응하고, 필터링하며, 정보에 입각한 결정을 내리는 능력이 중요하다는 점을 강조합니다. 인간의 삶에 로봇과 지능형 에이전트가 더욱 통합됨에 따라, 특히 역동적이고 정보가 풍부한 시나리오에서 인간의 인지 부하를 이러한 시스템에 맡길 수 있는 기회와 필요성이 증가하고 있습니다. 이러한 필요를 충족하기 위해 본 논문에서는 다중 모드 검색 증강 생성 시스템인 Multi-RAG를 제시합니다. Multi-RAG는 비디오, 오디오 및 텍스트를 포함한 다중 소스 정보 스트림을 통합하고 추론하여 상황 이해를 개선하고 인지 부하를 줄이도록 설계되었습니다. 장기적인 인간-로봇 파트너십을 위한 기반으로서, Multi-RAG는 역동적이고 인간 중심적인 상황에서 적응형 로봇 지원을 위한 기반으로서 다중 모드 정보 이해가 어떻게 활용될 수 있는지 탐구합니다. 현실적인 인간 지원 대리 작업에서의 능력을 평가하기 위해 MMBench-Video 데이터 세트를 사용하여 Multi-RAG의 성능을 벤치마킹했습니다. 그 결과, 기존의 오픈 소스 비디오 대규모 언어 모델(Video-LLM) 및 대규모 비전-언어 모델(LVLMs)에 비해 우수한 성능을 달성하면서도, 더 적은 자원과 입력 데이터를 사용하는 것을 보여주었습니다. 이러한 결과는 Multi-RAG가 역동적인 실제 환경에서 미래의 인간-로봇 적응형 지원 시스템을 위한 실용적이고 효율적인 기반이 될 수 있음을 보여줍니다.
