It Depends on the Dataset: When a Brain-Encoding Model's Predicted Responses Beat Their Visual Backbone for Video Memorability
Author
- Haebom
Category
Empty
저자
Carson Rodrigues
💡 개요
본 연구는 뇌-인코딩 기반 모델의 예측 응답이 비디오 기억력 예측이라는 하위 작업에서 시각적 백본보다 유용한 특징으로 작용하는지 조사합니다. 두 가지 데이터셋(Memento10k, VideoMem)에서 실험한 결과, 예측 응답의 유용성이 데이터셋에 따라 달라지며, 예측 응답은 특정 데이터셋에서 시각적 백본이 놓치는 기억력 관련 신호를 포착함을 발견했습니다.
🔑 시사점 및 한계
•
뇌-인코딩 모델의 예측 응답은 특정 데이터셋에 대해 시각적 백본보다 더 나은 기억력 예측 성능을 제공할 수 있습니다.
•
예측 응답이 모든 데이터셋에서 일관되게 우수한 것은 아니며, 데이터셋에 따른 특화된 표현 능력을 가집니다.
•
뇌-인코딩 모델이 캡처하는 기억력 관련 신호는 시각적 정보 외에 뇌의 다른 영역(복측 후두-측두 피질)과 관련될 수 있습니다.
•
VideoMem 데이터셋의 라이선스 제약으로 인해 원본 데이터셋 및 예측 응답 배열의 재배포가 제한됩니다.
