ComfyUI의 직관적인 노드 기반 아키텍처는 사용자 정의 이미지 생성 작업을 가능하게 하지만, 복잡한 노드 연결과 다양한 모듈로 인해 학습 곡선이 가파릅니다. 본 논문에서는 작업 설명을 바탕으로 ComfyUI 워크플로우를 자동 생성하는 최초의 자기 최적화 다중 에이전트 시스템인 ComfyGPT를 제시합니다. ComfyGPT는 ReformatAgent, FlowAgent, RefineAgent, ExecuteAgent의 네 가지 전문 에이전트로 구성되며, 전체 워크플로우가 아닌 개별 노드 연결에 집중하여 생성 정확도를 향상시키는 것이 핵심 혁신입니다. 특히, 감독식 파인튜닝(SFT)과 강화 학습(RL)을 사용하는 LLM 기반 워크플로우 생성 에이전트인 FlowAgent를 제안합니다. 또한 13,571개의 워크플로우-설명 쌍을 포함하는 대규모 데이터셋인 FlowDataset과 워크플로우 생성 시스템을 평가하기 위한 종합적인 벤치마크인 FlowBench, 그리고 새로운 평가 지표인 FV, PA, PIA, PND를 제시합니다. 실험 결과, ComfyGPT는 기존의 LLM 기반 방법보다 워크플로우 생성에서 훨씬 뛰어난 성능을 보여줍니다.
