StarFlow: Generating Structured Workflow Outputs From Sketch Images
Created by
Haebom
저자
Patrice Bechard, Chao Wang, Amirhossein Abaskohi, Juan Rodriguez, Christopher Pal, David Vazquez, Spandana Gella, Sai Rajeswar, Perouz Taslakian
개요
본 논문은 기업 플랫폼의 자동화에 필수적인 워크플로우 생성 과정을 간소화하기 위해 시각 언어 모델(VLMs)을 활용한 StarFlow 프레임워크를 제시합니다. StarFlow는 손으로 그린 스케치나 컴퓨터로 생성된 다이어그램을 실행 가능한 워크플로우로 변환하는 것을 목표로 하며, 합성 데이터, 수동 주석 데이터, 실제 데이터를 포함하는 다양한 워크플로우 다이어그램 데이터셋을 활용하여 여러 VLMs을 미세 조정하고 벤치마킹합니다. 실험 결과, 미세 조정을 통해 구조화된 워크플로우 생성 성능이 크게 향상되었음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
시각 정보를 활용하여 워크플로우를 자동 생성하는 새로운 접근 방식 제시
◦
VLMs 기반 워크플로우 생성의 효율성 및 가능성을 입증
◦
다양한 유형의 데이터를 포함하는 데이터셋 구축을 통한 강건한 모델 학습
◦
미세 조정을 통한 성능 향상 확인
•
한계점:
◦
자유 형식 그림의 모호성, 다양한 다이어그램 스타일, 시각 요소로부터 실행 논리를 추론하는 어려움 등 여전히 해결해야 할 과제 존재
