본 논문은 인간의 직관적인 물리학적 추론 능력을 기계가 따라잡기 위해 뇌에서 영감을 받은 계산 원리를 기반으로 하는 Spatiotemporal Relational Neural Network (SRNN)을 제안합니다. SRNN은 객체 속성, 관계, 타임라인에 대한 통일된 신경 표현을 설정하고, "함께 발화하면 함께 연결된다"는 헤비안 메커니즘을 사용하여 'What' 및 'How' 경로에서 계산을 수행합니다. 이 통일된 표현은 시각적 장면의 구조화된 언어적 설명을 생성하는 데 직접 사용되어 지각과 언어를 공유된 신경 기질 내에서 연결합니다. CLEVRER 벤치마크에서 SRNN은 경쟁력 있는 성능을 달성하며, 시각적 스트림에서 필수적인 시공간 관계를 표현할 수 있음을 확인합니다. 인지적 제거 분석은 벤치마크 편향을 드러내고, 보다 전체적인 평가를 위한 경로를 제시합니다. SRNN의 투명성 덕분에 오류의 근본 원인을 정확히 찾아낼 수 있습니다. 이 연구는 제약된 환경에서 직관적인 물리학적 이해를 위해 생물학적 지능의 핵심 원리를 엔지니어링된 시스템으로 변환하는 가능성을 보여줍니다.
