AI Research Agents for Machine Learning: Search, Exploration, and Generalization in MLE-bench
Created by
- Haebom
Category
Empty
저자
Edan Toledo, Karen Hambardzumyan, Martin Josifoski, Rishi Hazra, Nicolas Baldwin, Alexis Audran-Reiss, Michael Kuchnik, Despoina Magka, Minqi Jiang, Alisia Maria Lupidi, Andrei Lupu, Roberta Raileanu, Kelvin Niu, Tatiana Shavrina, Jean-Christophe Gagnon-Audet, Michael Shvartsman, Shagun Sodhani, Alexander H. Miller, Abhishek Charnalia, Derek Dunfield, Carole-Jean Wu, Pontus Stenetorp, Nicola Cancedda, Jakob Nicolaus Foerster, Yoram Bachrach
개요
AI 연구 에이전트는 기계 학습 모델의 설계, 구현 및 훈련을 자동화하여 과학적 발전을 가속화할 수 있는 잠재력을 보여주고 있습니다. 본 논문은 AI 연구 에이전트가 실제 문제 해결을 위해 Kaggle 대회에서 경쟁하는 MLE-bench에서 에이전트의 성능을 향상시키는 방법에 초점을 맞추고 있습니다. 에이전트를 후보 솔루션 공간을 탐색하고 연산자를 사용하여 반복적으로 수정하는 탐색 정책으로 형식화합니다. 다양한 연산자 집합과 탐색 정책(Greedy, MCTS, Evolutionary)을 설계하고 체계적으로 변화시키면서, 이들의 상호 작용이 높은 성능을 달성하는 데 중요함을 보여줍니다. 최고의 탐색 전략과 연산자 집합 조합은 MLE-bench lite에서 최첨단 결과를 달성하여 Kaggle 메달 획득 성공률을 39.6%에서 47.7%로 증가시켰습니다. 본 연구는 자동화된 기계 학습을 발전시키는 데 있어 탐색 전략, 연산자 설계 및 평가 방법론을 함께 고려하는 것의 중요성을 강조합니다.
시사점, 한계점
•
탐색 전략과 연산자 설계를 함께 고려하는 것이 중요함.
•
MLE-bench lite에서 Kaggle 메달 획득 성공률 향상.
•
Greedy, MCTS, Evolutionary 탐색 정책과 다양한 연산자 집합 비교 분석.
•
MLE-bench lite에만 국한된 실험 결과.
