TEMPO: Temporal Preference Optimization of Video LLMs via Difficulty Scheduling and Pre-SFT Alignment
Created by
Haebom
Category
Empty
저자
Shicheng Li, Lei Li, Kun Ouyang, Shuhuai Ren, Yuanxin Liu, Yuanxing Zhang, Fuzheng Zhang, Lingpeng Kong, Qi Liu, Xu Sun
개요
본 논문은 비디오 대규모 언어 모델(Video LLMs)의 시간적 추론 능력 향상을 위한 새로운 프레임워크인 TEMPO를 제안합니다. 기존 Video LLMs는 이중 단계 패러다임(대규모 비디오-텍스트 데이터를 이용한 사전 훈련 후 작업별 기능을 위한 지도 미세 조정)을 사용하지만, 데이터 내 약한 시간적 상관관계와 다음 토큰 예측 패러다임에 대한 의존으로 인해 시간적 추론에 어려움을 겪습니다. TEMPO는 직접적 선호도 최적화(DPO)를 통해 이러한 한계를 극복합니다. 자동화된 선호도 데이터 생성 파이프라인을 통해 시간 정보가 풍부한 비디오를 선택하고, 비디오 특정 섭동 전략을 설계하여 모델 응답을 평가함으로써 선호도 쌍을 체계적으로 구성합니다. 핵심 혁신으로는 섭동 난이도를 점진적으로 높이는 커리큘럼 학습과 미세 조정 전 선호도 최적화(Pre-SFT Alignment)를 적용하여 미세한 시간적 이해를 우선시합니다. 실험 결과, TEMPO는 다양한 벤치마크에서 Video LLM 성능을 향상시키며, DPO 데이터의 아키텍처 간 전이성과 난이도 스케줄링의 역할을 분석합니다. 결론적으로 TEMPO는 SFT 기반 방법을 보완하는 확장 가능하고 효율적인 방법으로, 신뢰할 수 있는 Video LLM 개발의 길을 열어줍니다.
시사점, 한계점
•
시사점:
◦
Video LLM의 시간적 추론 능력을 효과적으로 향상시키는 새로운 프레임워크 TEMPO 제시.
◦
자동화된 선호도 데이터 생성 파이프라인을 통해 효율적인 DPO 데이터 생성 가능.
◦
커리큘럼 학습과 Pre-SFT Alignment를 통해 모델의 강건성과 적응력 향상.
◦
상대적으로 적은 양의 자체 생성 DPO 데이터로 성능 향상 달성.
◦
DPO 데이터의 아키텍처 간 전이성 및 난이도 스케줄링의 중요성 확인.
◦
SFT 기반 방법을 보완하는 확장 가능하고 효율적인 방법으로 신뢰할 수 있는 Video LLM 개발 가능성 제시.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요.
◦
다양한 종류의 비디오 데이터에 대한 성능 평가 필요.
◦
선호도 데이터 생성 파이프라인의 복잡성 및 계산 비용에 대한 고려 필요.
◦
특정 벤치마크에 대한 성능 향상이 다른 벤치마크로 얼마나 일반화될 수 있는지에 대한 추가 분석 필요.
