TEMPLE: Incentivizing Temporal Understanding of Video Large Language Models via Progressive Pre-SFT Alignment
Created by
Haebom
Category
Empty
저자
Shicheng Li, Lei Li, Kun Ouyang, Shuhuai Ren, Yuanxin Liu, Yuanxing Zhang, Fuzheng Zhang, Lingpeng Kong, Qi Liu, Xu Sun
TEMPLE: TEMporal Preference LEarning for Video Large Language Models
개요
본 논문은 대규모 사전 학습과 지도 미세 조정(SFT) 방식을 따르는 Video LLM의 한계를 해결하기 위해 Direct Preference Optimization(DPO)을 활용한 TEMPLE (TEMporal Preference LEarning) 프레임워크를 제안합니다. 특히, 데이터 내 약한 시간적 대응과 다음 토큰 예측 방식에 대한 과도한 의존으로 인한 시간적 추론 능력 부족 문제를 해결하고자 합니다. 이를 위해, 시간적 정보를 강조하는 선호 쌍을 자동으로 구축하는 파이프라인과 Progressive Pre-SFT Alignment 전략을 개발했습니다. 이 전략은 교차 학습 기법을 통해 데이터 효율성을 극대화하고, 지시 조정 전에 선호도 최적화를 적용하여 근본적인 시간적 정렬을 장려합니다. 실험 결과, 제안된 방법은 소량의 자체 생성된 DPO 데이터를 사용하여 여러 벤치마크에서 Video LLM의 성능을 향상시켰습니다.
시사점, 한계점
•
시사점:
◦
DPO를 활용하여 Video LLM의 시간적 추론 능력을 향상시키는 새로운 프레임워크 제시.
◦
시간적 정보 부족 문제를 해결하기 위한 자동화된 선호 쌍 구축 파이프라인 개발.
◦
데이터 효율성을 높이고 시간적 정렬을 강화하는 Progressive Pre-SFT Alignment 전략 도입.
◦
SFT 기반 방법에 대한 효율적이고 확장 가능한 보완책 제시.
•
한계점:
◦
제시된 방법의 일반화 가능성 및 다른 데이터셋/모델에 대한 성능 검증 필요.
◦
자동화된 선호 쌍 구축 파이프라인의 복잡성 및 계산 비용에 대한 고려 필요.
◦
Progressive Pre-SFT Alignment 전략의 최적 파라미터 설정에 대한 추가 연구 필요.
