복잡하고 다단계 워크플로우를 위해 대규모 언어 모델(LLM)을 안정적으로 구성하는 것은 중요한 과제입니다. 기존의 방식인 파이프라인에서 개별 프롬프트를 최적화하는 것은 구조화된 작업에 필요한 형식적 준수를 구현하는 데 어려움을 겪습니다. 본 논문에서는 워크플로우 적응을 유형이 지정된 확률적 프로그램 학습으로 재해석하는 Type-Compliant Adaptation Cascades(TACs) 프레임워크를 소개합니다. TACs는 매개변수 효율적으로 적응된 LLM과 결정론적 로직으로 구성된 전체 워크플로우를 정규화되지 않은 결합 분포로 취급합니다. 이를 통해 잠재적인 중간 구조에서도 원칙적인 기울기 기반 학습이 가능합니다. 또한, 모델이 유형 준수를 학습함에 따라 최적화 편향이 사라짐을 증명하여, 효율적인 최적화 목표에 대한 이론적 근거를 제시합니다. 실험적으로 TACs는 최첨단 프롬프트 최적화 기반 모델보다 성능이 우수합니다. 특히 구조화된 작업에서 FinQA는 Qwen 3 8B 모델에서 12.0%에서 24.7%로, MGSM-SymPy는 Gemma 2 27B 모델에서 57.1%에서 75.9%로, MGSM은 Gemma 7B 모델에서 1.6%에서 27.3%로, MuSR은 36.5%에서 62.6%로 향상되었습니다. TACs는 신뢰할 수 있고 작업 준수적인 LLM 시스템 개발을 위한 강력하고 이론적으로 뒷받침되는 패러다임을 제공합니다.
