Huxley-G\"odel Machine: Human-Level Coding Agent Development by an Approximation of the Optimal Self-Improving Machine
Created by
Haebom
저자
Wenyi Wang, Piotr Pi\k{e}kos, Li Nanbo, Firas Laakom, Yimeng Chen, Mateusz Ostaszewski, Mingchen Zhuge, Jurgen Schmidhuber
개요
본 논문은 코딩 에이전트의 자기 개선 능력을 평가하는 새로운 지표인 $\mathrm{CMP}$를 제안하고, 이를 기반으로 한 Huxley-Godel Machine (HGM)을 개발했다. 기존 코딩 벤치마크 성능과 자기 개선 잠재력 사이의 불일치(Metaproductivity-Performance Mismatch)를 해결하고자, $\mathrm{CMP}$를 통해 에이전트 후손들의 벤치마크 성능을 집계하여 자기 개선 잠재력을 측정한다. HGM은 $\mathrm{CMP}$를 활용하여 자기 수정 트리를 탐색하며, SWE-bench Verified 및 Polyglot 데이터셋에서 기존 방법론보다 우수한 성능을 보였다. 또한, 다른 코딩 데이터셋과 대규모 언어 모델에 대한 강한 전이 능력을 입증했다.
시사점, 한계점
•
시사점:
◦
자기 개선 코딩 에이전트의 성능 향상을 위한 새로운 지표인 $\mathrm{CMP}$ 제시
◦
$\mathrm{CMP}$를 활용한 HGM 개발 및 기존 방법론 대비 우수한 성능 달성
◦
다양한 데이터셋 및 대규모 언어 모델에 대한 전이 학습 성공
◦
SWE-bench Lite에서 인간 수준의 성능 달성
•
한계점:
◦
$\mathrm{CMP}$ 추정의 정확성에 대한 추가적인 연구 필요
◦
$\mathrm{CMP}$가 Godel Machine 동작을 완전히 시뮬레이션하는 데 필요한 가정이 존재
