본 논문은 스마트 헬스, AI 신약 개발, AIOps 등 다양한 분야의 의사결정에 필수적인 인과 관계 발견에 초점을 맞추고 있습니다. 기존의 통계적 인과 관계 발견 방법은 관측 데이터에 의존하며 인과 관계에 내재된 의미론적 단서를 간과하는 경향이 있습니다. 본 논문에서는 대규모 언어 모델(LLM)을 활용하여 의미론적 단서를 활용한 지식 기반 인과 관계 발견을 제시하며, 특히 다중 모드 데이터 탐색에 있어 LLM의 활용이 부족한 현실을 해결하고자 합니다. 이를 위해 도구 증강 LLM 기반의 다중 에이전트 시스템인 MATMCD를 제안합니다. MATMCD는 모달리티 증강 데이터를 검색 및 처리하는 데이터 증강 에이전트와 다중 모드 데이터를 통합하여 지식 기반 추론을 수행하는 인과 제약 에이전트의 두 가지 주요 에이전트로 구성됩니다. 7개의 데이터셋에 대한 실험 결과를 통해 다중 모달리티 향상 인과 관계 발견의 잠재력을 보여줍니다.
