Retrieval-Augmented Fine-Tuning With Preference Optimization For Visual Program Generation
Created by
Haebom
저자
Deokhyung Kang, Jeonghun Cho, Yejin Jeon, Sunbin Jang, Minsub Lee, Jawoon Cho, Gary Geunbae Lee
개요
본 논문은 산업 자동화 분야에서 널리 사용되는 사다리 다이어그램(LD)과 같은 산업용 시각적 프로그래밍 언어(VPL) 코드 생성을 위한 새로운 접근 방식을 제시한다. 기존의 프롬프트 기반 방법 대신, 본 논문에서는 더 높은 정확도를 위해 훈련 기반 방법을 제안한다. 특히, 산업 VPL의 반복적인 하위 루틴 사용을 활용하는 검색 증강 미세 조정과 그래프 편집 연산을 통해 생성된 선호도 쌍을 사용하는 직접 선호도 최적화(DPO)를 결합한 2단계 훈련 전략을 제시한다. 실제 LD 데이터를 사용한 실험 결과, 제안된 방법이 지도 학습 미세 조정에 비해 프로그램 수준 정확도를 10% 이상 향상시키는 것을 보여준다.
시사점, 한계점
•
시사점:
◦
산업용 VPL 코드 생성에 있어 훈련 기반 방법이 프롬프트 기반 방법보다 우수함을 증명.
◦
검색 증강 미세 조정과 DPO를 결합한 2단계 훈련 전략을 통해 VPL 생성 정확도를 크게 향상시킬 수 있음을 보여줌.
