본 논문은 대규모 언어 모델(LLMs) 및 AI 시스템의 발전에 따른 복잡한 AI 워크플로우 설계 및 최적화의 패러다임 변화를 다룹니다. 여러 구성 요소를 통합한 compound AI 시스템이 복잡한 작업을 수행하는 데 능숙해짐에 따라 개별 구성 요소뿐만 아니라 상호 작용을 최적화하는 데 새로운 과제가 발생합니다. 본 논문은 지도 학습 기반 미세 조정(SFT) 및 강화 학습(RL)과 같은 전통적인 최적화 방법과 더불어, 자연어 피드백을 활용한 새로운 접근 방식의 등장을 조명합니다. 특히, 미분 불가능한 시스템 최적화에 초점을 맞추어 수치적 및 언어 기반 기법을 모두 포함하는 compound AI 시스템 최적화에 대한 체계적인 검토를 제공합니다.
시사점, 한계점
•
Compound AI 시스템 최적화의 개념을 정립하고, 기존 방법을 여러 핵심 차원으로 분류합니다.
