Sign In

EMO-BOOST: Emotion-Augmented Audio-Visual Features for Improved Generalization in Deepfake Detection

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Aritra Marik, Marcel Klemt, Anna Rohrbach

πŸ’‘ κ°œμš”

생성 AI 기술의 λ°œλ‹¬λ‘œ λ”₯페이크 탐지 기술의 μΌλ°˜ν™” μ„±λŠ₯이 μ€‘μš”ν•œ 과제둜 λ– μ˜¬λžμŠ΅λ‹ˆλ‹€. λ³Έ μ—°κ΅¬λŠ” λ”₯페이크 탐지에 μžˆμ–΄ ν•™μŠ΅λ˜μ§€ μ•Šμ€ μƒˆλ‘œμš΄ μœ ν˜•μ˜ μ‘°μž‘μ— λŒ€ν•œ μΌλ°˜ν™” μ„±λŠ₯ ν–₯상을 μœ„ν•΄ 높은 μˆ˜μ€€μ˜ 의미둠적 λ‹¨μ„œμΈ '감정'을 ν™œμš©ν•˜λŠ” Emo-Boost ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. Emo-BoostλŠ” 기쑴의 μ €μˆ˜μ€€ νŠΉμ§• 기반 탐지 λͺ¨λΈκ³Ό 감정 기반 탐지 λͺ¨λΈ(EmoForensics)을 μœ΅ν•©ν•˜μ—¬, ν•™μŠ΅λ˜μ§€ μ•Šμ€ λ”₯νŽ˜μ΄ν¬μ— λŒ€ν•œ 탐지 μ„±λŠ₯을 ν–₯μƒμ‹œν‚΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λ”₯페이크 탐지에 μžˆμ–΄ μ €μˆ˜μ€€ νŠΉμ§•λ§ŒμœΌλ‘œλŠ” ν•œκ³„κ°€ 있으며, 감정과 같은 κ³ μˆ˜μ€€ 의미둠적 λ‹¨μ„œλ₯Ό ν†΅ν•©ν•¨μœΌλ‘œμ¨ μΌλ°˜ν™” μ„±λŠ₯을 크게 ν–₯μƒμ‹œν‚¬ 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ Emo-Boost ν”„λ ˆμž„μ›Œν¬λŠ” κΈ°μ‘΄ 탐지 λͺ¨λΈκ³Ό 감정 기반 λͺ¨λΈμ΄ μƒν˜Έ 보완적인 μ‹ ν˜Έλ₯Ό ν¬μ°©ν•˜μ—¬, ν•™μŠ΅λ˜μ§€ μ•Šμ€ λ”₯νŽ˜μ΄ν¬μ— λŒ€ν•œ 탐지 정확도λ₯Ό μœ μ˜λ―Έν•˜κ²Œ κ°œμ„ ν•©λ‹ˆλ‹€ (FakeAVCeleb λ°μ΄ν„°μ…‹μ—μ„œ 평균 AUC 2.1% ν–₯상).
β€’
ν–₯ν›„ μ—°κ΅¬μ—μ„œλŠ” λ‹€μ–‘ν•œ μ’…λ₯˜μ˜ κ³ μˆ˜μ€€ 의미둠적 λ‹¨μ„œλ₯Ό νƒμƒ‰ν•˜κ³ , 이λ₯Ό 효과적으둜 μœ΅ν•©ν•˜λŠ” 더 μ •κ΅ν•œ 방법둠을 κ°œλ°œν•˜λŠ” 것이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage