TEMPLE:Temporal Preference Learning of Video LLMs via Difficulty Scheduling and Pre-SFT Alignment
Created by
Haebom
저자
Shicheng Li, Lei Li, Kun Ouyang, Shuhuai Ren, Yuanxin Liu, Yuanxing Zhang, Fuzheng Zhang, Lingpeng Kong, Qi Liu, Xu Sun
개요
본 논문은 비디오 대규모 언어 모델(Video LLMs)의 시간적 추론 능력 향상을 위한 새로운 프레임워크인 TEMPLE을 제안합니다. 기존 Video LLMs는 이중 단계 방식(대규모 비디오-텍스트 데이터를 이용한 사전 훈련 후 작업 특화 기능을 위한 지도 학습 미세 조정(SFT))을 사용하지만, 데이터 내 시간적 상관 관계가 약하고 다음 토큰 예측 패러다임에 의존하기 때문에 시간적 추론에 어려움을 겪습니다. TEMPLE은 직접적 선호도 최적화(DPO)를 통해 이러한 한계를 극복합니다. 시간 정보가 풍부한 비디오를 선택하고 비디오 특정 섭동 전략을 설계하여 선호도 쌍을 체계적으로 구성하는 자동화된 선호도 데이터 생성 파이프라인을 도입합니다. 커리큘럼 학습과 사전 SFT 정렬(Pre-SFT Alignment)이라는 두 가지 핵심 혁신을 통해 모델의 강건성과 적응성을 향상시킵니다. 실험 결과, TEMPLE은 다양한 벤치마크에서 Video LLM 성능을 향상시키며, DPO 데이터의 아키텍처 간 전이성 및 난이도 스케줄링의 역할을 분석합니다. SFT 기반 방법을 효율적으로 보완하는 확장 가능한 방법으로, 신뢰할 수 있는 Video LLM 개발의 길을 열어줍니다.
시사점, 한계점
•
시사점:
◦
Video LLMs의 시간적 추론 능력을 향상시키는 효율적인 프레임워크 TEMPLE 제시.
◦
자동화된 선호도 데이터 생성 파이프라인을 통해 상대적으로 적은 양의 데이터로 성능 향상 달성.
