Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Context-Aware Pseudo-Label Scoring for Zero-Shot Video Summarization

Created by
  • Haebom

저자

Yuanli Wu, Long Zhang, Yue Du, Bin Li

개요

본 논문은 대규모 언어 모델과 구조화된 의미론적 추론을 연결하는, 루브릭 기반, 의사 레이블 및 프롬프트 기반의 제로샷 비디오 요약 프레임워크를 제안합니다. 소수의 인간 주석을 고신뢰도 의사 레이블로 변환하고, 주제 관련성, 액션 디테일, 내러티브 진행과 같은 명확한 평가 차원을 정의하는 데이터셋 적응형 루브릭으로 구성합니다. 추론 과정에서 시작 및 종료 세그먼트를 포함한 경계 장면은 자체 설명에 따라 독립적으로 점수를 매기고, 중간 장면은 내러티브 연속성과 중복성을 평가하기 위해 인접 세그먼트의 간결한 요약을 통합합니다. 이 설계를 통해 언어 모델은 파라미터 튜닝 없이 지역적 중요성과 전반적인 일관성을 균형 있게 유지할 수 있습니다. 3개의 벤치마크에서 제안된 방법은 SumMe에서 57.58, TVSum에서 63.05, QFVS에서 53.79의 F1 점수를 기록하며, 제로샷 기준선을 각각 +0.85, +0.84, +0.37 능가하는 안정적이고 경쟁력 있는 결과를 달성했습니다.

시사점, 한계점

루브릭 기반 의사 레이블링과 맥락적 프롬프팅의 조합은 LLM 기반 점수 매기기를 효과적으로 안정화시킵니다.
일반 및 쿼리 중심 비디오 요약 모두에 적용 가능한, 해석 가능하고 훈련이 필요 없는 패러다임을 확립합니다.
제로샷 비디오 요약에서 경쟁력 있는 성능을 달성합니다.
논문에서 구체적인 한계점은 명시되지 않았습니다.
👍