ML-Agent: Reinforcing LLM Agents for Autonomous Machine Learning Engineering
Created by
Haebom
저자
Zexi Liu, Jingyi Chai, Xinyu Zhu, Shuo Tang, Rui Ye, Bo Zhang, Lei Bai, Siheng Chen
개요
본 논문은 대규모 언어 모델(LLM) 기반 에이전트를 활용한 자율적 기계 학습(ML) 엔지니어링 발전에 중점을 둡니다. 기존 접근 방식의 한계인 수동 프롬프트 엔지니어링 의존성을 극복하기 위해, 온라인 강화 학습(RL)을 사용하여 ML 작업에 대한 상호 작용적 실험을 통해 학습하는 학습 기반 에이전트 ML 패러다임을 최초로 탐구합니다. 이를 위해 세 가지 핵심 구성 요소 (1) 탐색 강화 미세 조정 (2) 단계별 RL (3) 에이전트 ML 특정 보상 모듈을 갖춘 새로운 에이전트 ML 훈련 프레임워크를 제안합니다. 7B 크기의 Qwen-2.5 LLM을 기반으로 하는 ML-Agent를 훈련하여 단 9개의 ML 작업만으로도 671B 크기의 DeepSeek-R1 에이전트를 능가하는 성능을 달성하고, 지속적인 성능 향상과 뛰어난 교차 작업 일반화 능력을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 에이전트를 활용한 자율적 ML 엔지니어링의 새로운 패러다임 제시
◦
제안된 프레임워크를 통해 소규모 LLM으로도 대규모 모델을 능가하는 성능 달성 가능성 입증
◦
효율적인 RL 학습을 위한 탐색 강화 미세 조정, 단계별 RL, 에이전트 특화 보상 모듈의 효과 입증
◦
뛰어난 교차 작업 일반화 능력을 통해 다양한 ML 작업에 적용 가능성 시사
•
한계점:
◦
훈련 데이터로 사용된 ML 작업의 수가 제한적 (단 9개의 작업)
◦
제안된 프레임워크의 일반화 성능에 대한 추가적인 검증 필요
◦
다양한 종류의 ML 작업에 대한 적용 가능성에 대한 추가적인 연구 필요
◦
7B 크기의 Qwen-2.5 LLM을 사용한 결과이므로, 다른 LLM을 사용했을 때의 성능은 추가 연구가 필요하다.
