CausalARC: Abstract Reasoning with Causal World Models
Created by
- Haebom
Category
Empty
저자
Jacqueline Maasch, John Kalantari, Kia Khezeli
개요
본 논문은 적은 데이터와 분포 변화 환경에서 AI 추론 능력을 평가하기 위한 실험적인 테스트베드인 CausalARC를 소개한다. CausalARC는 Abstraction and Reasoning Corpus (ARC)를 모델로 하며, 구조적 인과 모델로 표현된 완전하게 명시된 인과 세계 모델에서 각 추론 작업을 샘플링한다. 소수 샷, 문맥 내 학습 시연 형태로 관찰, 개입, 반사실적 피드백을 제공하는 데이터 증강 기법을 사용한다. 본 연구는 CausalARC를 활용하여 (1) 테스트 시간 훈련을 통한 추상적 추론, (2) 문맥 내 학습을 통한 반사실적 추론, (3) 프로그램 합성, (4) 논리적 추론을 통한 인과 관계 발견 등 네 가지 언어 모델 평가 설정을 예시로 제시한다.
시사점, 한계점
•
CausalARC는 저데이터 및 분포 변화 환경에서 AI 추론 능력을 평가하기 위한 새로운 테스트베드를 제공한다.
•
CausalARC는 구조적 인과 모델을 기반으로 하여, 인과적 추론 능력을 평가할 수 있도록 설계되었다.
•
데이터 증강을 통해 다양한 유형의 피드백(관찰, 개입, 반사실)을 제공하여 학습을 지원한다.
•
언어 모델 평가를 위한 다양한 설정(추상적 추론, 반사실적 추론, 프로그램 합성, 인과 관계 발견)을 제시한다.
•
모델 간 및 작업 간 성능 차이가 커서, 언어 모델 추론 능력 개선의 여지가 크다는 것을 시사한다.
•
논문에서 제시된 특정 언어 모델들의 성능 평가 결과는 모델별 및 작업별로 다양하게 나타났다.
