MetaLLMiX는 메타러닝, 설명 가능한 AI, 그리고 효율적인 LLM 추론을 결합한 제로샷 하이퍼파라미터 최적화 프레임워크입니다. 기존의 AutoML 및 LLM 기반 접근 방식의 시행착오와 고비용 API 문제를 해결하기 위해, SHAP 설명을 활용하여 과거 실험 결과를 바탕으로 추가적인 시도 없이 최적의 하이퍼파라미터와 사전 훈련된 모델을 추천합니다. LLM을 판단자로 활용하여 출력 형식, 정확성, 완성도를 제어합니다. 8개의 의료 영상 데이터셋과 9개의 오픈소스 경량 LLM을 사용한 실험에서 기존 HPO 방법보다 경쟁력 있는 성능 또는 우수한 성능을 달성하면서 계산 비용을 대폭 줄였습니다. 기존 API 기반 접근 방식보다 우수한 성능을 보이며, 8개 작업 중 5개에서 최적의 결과를 달성하고 응답 시간을 99.6-99.9% 단축했으며, 6개 데이터셋에서 가장 빠른 훈련 시간(2.4-15.7배 빠름)을 기록했습니다. 정확도는 최고 성능 기준 모델과 1-5% 이내의 차이를 유지했습니다.
