Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Federated Learning for Video Violence Detection: Complementary Roles of Lightweight CNNs and Vision-Language Models for Energy-Efficient Use

Created by
  • Haebom
Category
Empty

저자

Sebastien Thuau, Siba Haidar, Rachid Chelouah

개요

딥러닝 기반의 영상 감시 시스템은 개인 정보 보호와 낮은 계산 및 환경 부하를 요구하며, 연합 학습은 개인 정보를 보호하지만 대규모 비전-언어 모델(VLM) 배포는 에너지 및 지속 가능성 문제를 야기한다. 본 연구에서는 RWF-2000 및 RLVS 데이터셋에서 현실적인 비-IID 분할 환경에서 폭력 감지를 위한 세 가지 연합 학습 전략(사전 훈련된 VLM을 사용한 제로샷 추론, LLaVA-NeXT-Video-7B의 LoRA 기반 미세 조정, 65.8M-parameter 3D CNN의 개인화된 연합 학습)을 비교한다. 모든 방법은 이진 폭력 감지에서 90% 이상의 정확도를 달성하며, 3D CNN은 에너지 비용을 절반으로 줄이면서(240Wh vs. 570Wh) 우수한 보정 성능을 보이고(ROC AUC 92.59%), VLM은 더 풍부한 멀티모달 추론을 제공한다. UCF-Crime 데이터셋에서 계층적 카테고리 그룹화(의미적 유사성 및 클래스 제외 기반)는 VLM 다중 클래스 정확도를 65.31%에서 81%로 향상시켰다. 본 연구는 LoRA로 튜닝된 VLM과 개인화된 CNN을 연합 폭력 감지에 적용한 최초의 비교 시뮬레이션 연구로, 에너지 및 CO2e를 정량화하였다.

시사점, 한계점

•
시사점:
◦
연합 학습 환경에서 폭력 감지를 위한 LoRA 기반 VLM 튜닝, 사전 훈련된 VLM, 3D CNN 기반 개인화된 연합 학습의 성능 비교.
◦
3D CNN이 연합 학습 환경에서 더 적은 에너지 비용으로 우수한 성능을 보임.
◦
VLM의 멀티모달 추론 능력과 계층적 카테고리 그룹화를 통한 성능 향상 가능성 제시.
◦
일상적인 추론에는 효율적인 CNN을, 복잡한 상황 판단에는 VLM을 선택적으로 사용하는 하이브리드 전략 제안.
•
한계점:
◦
구체적인 한계점에 대한 언급은 논문에 포함되지 않음.
👍
Made with Slashpage