MLZero: A Multi-Agent System for End-to-end Machine Learning Automation
Created by
Haebom
저자
Haoyang Fang, Boran Han, Nick Erickson, Xiyuan Zhang, Su Zhou, Anirudh Dagar, Jiani Zhang, Ali Caner Turkmen, Cuixiong Hu, Huzefa Rangwala, Ying Nian Wu, Bernie Wang, George Karypis
개요
기존 AutoML 시스템은 머신러닝 자동화를 발전시켰지만, 특히 다중 모달 데이터를 처리할 때 상당한 수동 구성과 전문가의 입력이 필요합니다. 본 논문에서는 대규모 언어 모델(LLM)을 기반으로 하는 새로운 다중 에이전트 프레임워크인 MLZero를 소개합니다. MLZero는 최소한의 인간 개입으로 다양한 데이터 모달리티에 걸쳐 엔드투엔드 ML 자동화를 가능하게 합니다. 먼저 인지적 인식 모듈을 사용하여 원시 다중 모달 입력을 지각적 컨텍스트로 변환하여 후속 워크플로를 효과적으로 안내합니다. 환각 코드 생성 및 오래된 API 지식과 같은 LLM의 주요 한계를 해결하기 위해 의미적 및 에피소드 메모리를 사용하여 반복적인 코드 생성 프로세스를 향상시켰습니다. MLZero는 MLE-Bench Lite에서 우수한 성능을 보여주며 성공률과 솔루션 품질 모두에서 모든 경쟁 시스템을 능가하여 6개의 금메달을 획득했습니다. 또한 다양한 데이터 모달리티에 걸쳐 25개의 더욱 어려운 작업을 포함하는 다중 모달 AutoML 에이전트 벤치마크에서 평가했을 때, MLZero는 성공률 0.92(+263.6%) 및 평균 순위 2.28로 경쟁 방법을 크게 능가했습니다. 본 연구의 접근 방식은 8B LLM과 같이 작은 LLM을 사용하더라도 강력한 효과를 유지하며 기존 솔루션의 대규모 시스템을 능가합니다.
시사점, 한계점
•
시사점:
◦
최소한의 인간 개입으로 다양한 데이터 모달리티에 걸쳐 엔드투엔드 머신러닝 자동화를 가능하게 하는 새로운 다중 에이전트 프레임워크 MLZero 제시.
◦
LLM의 한계점(환각 코드 생성, 오래된 API 지식)을 의미적 및 에피소드 메모리를 통해 해결.
◦
MLE-Bench Lite 및 다중 모달 AutoML 에이전트 벤치마크에서 경쟁 시스템들을 압도적인 성능 차이로 능가.
◦
소규모 LLM(8B)에서도 우수한 성능 유지.
•
한계점:
◦
논문에서 구체적인 한계점은 언급되지 않음. 향후 연구를 통해 MLZero의 일반화 성능, 잠재적인 편향 문제, 그리고 특정 유형의 다중 모달 데이터에 대한 취약성 등에 대한 추가적인 연구가 필요할 것으로 예상됨.
