Frontier-Eng: Benchmarking Self-Evolving Agents on Real-World Engineering Tasks with Generative Optimization

작성자

Haebom

카테고리

Empty

저자

Yizhe Chi, Deyao Hong, Dapeng Jiang, Tianwei Luo, Kaisen Yang, Boshi Zhang, Zhe Cao, Xiaoyan Fan, Bingxiang He, Han Hao, Weiyang Jin, Dianqiao Lei, Qingle Liu, Houde Qian, Bowen Wang, Situ Wang, Youjie Zheng, Yifan Zhou, Calvin Xiao, Eren Cai, Qinhuai Na

💡 개요

본 논문은 기존 LLM 에이전트 벤치마크가 주로 성공/실패 기반의 이진 분류 작업에 집중하여 실제 엔지니어링 분야의 반복적인 최적화 가치를 간과하는 점을 지적합니다. 이를 해결하기 위해, 본 연구는 산업 등급 시뮬레이터와 검증기를 기반으로 하며 연속적인 보상 신호와 제약된 예산 하의 엄격한 실현 가능성 제약을 포함하는 47개의 엔지니어링 작업으로 구성된 "Frontier-Eng"라는 새로운 벤치마크를 제안합니다. Frontier-Eng는 에이전트가 후보 산출물을 생성하고, 실행 가능한 검증자 피드백을 받아, 제한된 상호작용 예산 내에서 수정하는 생성적 최적화(propose-execute-evaluate loop)를 평가합니다.

🔑 시사점 및 한계

•

Frontier-Eng는 실제 엔지니어링 작업의 복잡성과 반복적 최적화 과정을 AI 에이전트 평가를 위한 새로운 표준으로 제시합니다.

•

현재 최첨단 언어 모델들도 Frontier-Eng 벤치마크에서 상당한 어려움을 겪고 있으며, 특히 Claude 4.6 Opus가 가장 우수한 성능을 보였으나 여전히 개선의 여지가 있습니다.

•

분석 결과, 에이전트 성능 향상은 반복 횟수와 개선 규모 모두에서 거듭제곱 법칙(power-law decay)을 따르는 것으로 나타났으며, 제한된 예산 하에서는 깊이(depth)가 너비(width)보다 더 중요함을 시사합니다.

•

향후 과제로는 더 다양한 엔지니어링 도메인으로 확장하고, 에이전트가 도메인 지식과 실행 가능한 피드백을 통합하여 복잡하고 개방형 엔지니어링 문제를 해결하는 능력을 더욱 심층적으로 평가하는 방법을 개발하는 것이 있습니다.

PDF 보기

Made with Slashpage