본 논문은 대규모 언어 모델(LLM)의 성능을 특정 도메인이나 애플리케이션에 맞추기 위한 사후 훈련 파이프라인을 자동으로 구성하고 최적화하는 새로운 프레임워크인 LaMDAgent를 제시합니다. LaMDAgent는 LLM 기반 에이전트를 사용하여 다양한 모델 생성 기법, 데이터셋, 하이퍼파라미터 구성을 체계적으로 탐색하고, 작업 기반 피드백을 활용하여 최소한의 인간 개입으로 고성능 파이프라인을 발견합니다. 실험 결과, LaMDAgent는 도구 사용 정확도를 9.0포인트 향상시키는 동시에 지시사항 따르기 기능을 유지하며, 기존의 인간 중심 탐색에서는 종종 간과되는 효과적인 사후 훈련 전략을 발견했습니다. 또한, 데이터 및 모델 크기 확장의 영향을 분석하여 탐색의 계산 비용을 줄이는 방안을 모색했으며, 모델 크기 확장은 새로운 과제를 야기하지만 데이터 크기 확장은 비용 효율적인 파이프라인 발견을 가능하게 함을 발견했습니다.
