Procedural Refinement by LLM-driven Algorithmic Debugging for ARC-AGI-2

작성자

Haebom

카테고리

비어 있음

저자

Yu-Ning Qiu, Lin-Feng Zou, Jiong-Da Wang, Xue-Rong Yuan, Wang-Zhou Dai

💡 개요

본 연구는 복잡한 추상적 추론에서 잠재 규칙을 추론하고 적용하는 시스템을 위한 새로운 신경-기호적 접근 방식인 Abduction-Based Procedural Refinement (ABPR)을 제안합니다. ABPR은 LLM을 Prolog 메타 인터프리터와 결합하여, 후보 프로그램의 추론 과정을 증명 트리 형태로 재구성하고 이를 기반으로 의미론적 재검증을 수행합니다. ARC-AGI-2 벤치마크에서 ABPR은 GPT-5.5 xHigh와 결합 시 98.33%의 높은 Pass@2 성능을 달성하며, RAVEN 스타일 작업으로의 확장 가능성도 보여주었습니다.

🔑 시사점 및 한계

•

LLM 기반 프로그램의 결과만을 검증하는 기존 방식과 달리, ABPR은 추론 과정 자체를 검증하여 추상적 추론 능력의 근본적인 개선을 가능하게 합니다.

•

증명 트리 기반의 추적 탐색은 LLM의 탐색 범위를 체계적으로 안내하며, 이는 특히 복잡한 규칙을 유도하는 데 효과적임을 입증했습니다.

•

제안된 ABPR은 ARC-AGI-2와 같은 격자 변환 작업뿐만 아니라 RAVEN 스타일의 관계형, 유추적 추상화 작업에도 적용될 수 있어 범용적인 추론 시스템 구축에 기여할 수 있습니다.

•

본 연구는 LLM과 기호적 추론 시스템의 결합이 추상적 추론 문제를 해결하는 강력한 방법론임을 보여주지만, 실제 적용 시 LLM의 복잡한 추론 과정을 완전히 포착하고 재현하는 데는 여전히 도전 과제가 남아 있습니다.

PDF 보기

Slashpage로 제작됨