FormulaCode: Evaluating Agentic Optimization on Large Codebases

작성자

Haebom

카테고리

Empty

저자

Atharva Sehgal, James Hou, Akanksha Sarkar, Ishaan Mantripragada, Swarat Chaudhuri, Jennifer J. Sun, Yisong Yue

💡 개요

본 연구는 대규모 코드베이스에서 LLM 기반 코딩 에이전트의 최적화 능력을 평가하기 위한 새로운 벤치마크인 FormulaCode를 제안합니다. FormulaCode는 실제 과학적 Python 저장소에서 추출한 957개의 성능 병목 현상을 포함하며, 각각 전문가가 작성한 수정 패치와 다수의 성능 워크로드를 통해 현실적인 제약 조건 하에서의 다중 목표 최적화를 평가할 수 있도록 설계되었습니다. 평가 결과, 최신 LLM 에이전트들도 대규모 코드베이스의 다중 목표 최적화에 어려움을 겪고 있음을 보여줍니다.

🔑 시사점 및 한계

•

기존 벤치마크의 한계를 극복하고 실제 코드베이스 환경에서의 LLM 에이전트 성능을 보다 정확하게 평가할 수 있는 새로운 표준을 제시합니다.

•

복잡한 코드베이스에서 발생하는 성능 병목 현상에 대한 LLM 에이전트의 실질적인 최적화 능력을 다각적으로 평가할 수 있는 기반을 마련합니다.

•

최첨단 LLM 에이전트조차도 대규모 코드베이스의 복합적인 성능 최적화에는 아직 한계가 있음을 명확히 보여주며, 향후 연구 방향에 대한 중요한 통찰을 제공합니다.

•

FormulaCode 벤치마크 자체의 구축 및 유지보수 비용, 그리고 평가 과정의 복잡성이 증가할 수 있습니다.

PDF 보기

Made with Slashpage