본 논문은 대규모 언어 모델(LLM) 에이전트를 기반으로 하는 자율 머신 러닝 연구 프레임워크인 MLR-COPILOT을 제시합니다. 이 시스템은 제약 조건 내에서 연구 아이디어를 자동 생성하고 구현하여 머신 러닝 연구 생산성을 향상시키도록 설계되었습니다. MLR-COPILOT은 2024년 8월에 공개되었으며, 아이디어 생성, 실험 구현, 코드 실행의 세 단계로 구성됩니다. 먼저, RL 튜닝된 LLM 기반의 IdeaAgent가 기존 연구 논문을 사용하여 실행 가능한 아이디어와 실험 계획을 생성합니다. 다음으로, ExperimentAgent는 검색된 프로토타입 코드를 활용하여 계획을 실행 가능한 코드로 변환하고, HuggingFace에서 후보 모델과 데이터를 선택적으로 검색합니다. 마지막 단계에서 ExperimentAgent는 실험을 실행하고, 실행 가능한 결과에 대한 디버깅 및 사용자 피드백을 통해 반복합니다. 다섯 가지 머신 러닝 연구 과제에 대한 평가 결과, ML 연구 발전과 혁신을 촉진할 수 있는 잠재력을 보여줍니다.
