Sign In

NarraScore: Bridging Visual Narrative and Musical Dynamics via Hierarchical Affective Control

Created by
  • Haebom
Category
Empty

μ €μž

Yufan Wen, Zhaocheng Liu, YeGuo Hua, Ziyi Guo, Lihua Zhang, Chun Yuan, Jian Wu

πŸ’‘ κ°œμš”

κΈ΄ μ˜μƒμ— λŒ€ν•œ 일관성 μžˆλŠ” μ‚¬μš΄λ“œνŠΈλž™ 합성은 μ˜μƒμ˜ λ‚΄λŸ¬ν‹°λΈŒ 논리λ₯Ό νŒŒμ•…ν•˜λŠ” 데 어렀움이 μžˆμ–΄ ν˜„μž¬ ν•œκ³„μ— 직면해 μžˆμŠ΅λ‹ˆλ‹€. λ³Έ 논문은 감정을 λ‚΄λŸ¬ν‹°λΈŒ λ…Όλ¦¬μ˜ 고밀도 μ••μΆ•μœΌλ‘œ 보고, λ™κ²°λœ VLM을 μ‚¬μš©ν•˜μ—¬ μ˜μƒμ˜ 감정 ꢀ적을 μΆ”μΆœν•˜λŠ” NarraScoreλΌλŠ” 계측적 ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. 이 ν”„λ ˆμž„μ›Œν¬λŠ” κΈ€λ‘œλ²Œ μŠ€νƒ€μΌ μ•ˆμ •μ„±κ³Ό 둜컬 κΈ΄μž₯도 μ‘°μ ˆμ„ μœ„ν•œ λ“€μ–Ό 브랜치 μ£Όμž… μ „λž΅μ„ 톡해 λ›°μ–΄λ‚œ 일관성과 λ‚΄λŸ¬ν‹°λΈŒ 정렬을 λ‹¬μ„±ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
감정을 λ‚΄λŸ¬ν‹°λΈŒ 논리λ₯Ό μ••μΆ•ν•˜λŠ” 핡심 μš”μ†Œλ‘œ ν™œμš©ν•˜μ—¬ μ˜μƒ μ‚¬μš΄λ“œνŠΈλž™ μƒμ„±μ˜ νŒ¨λŸ¬λ‹€μž„μ„ μ „ν™˜ν•©λ‹ˆλ‹€.
β€’
λ™κ²°λœ VLMκ³Ό κ²½λŸ‰ν™”λœ μ–΄λŒ‘ν„° λ””μžμΈμ„ 톡해 계산 νš¨μœ¨μ„±μ„ 높이고 과적합 μœ„ν—˜μ„ μ€„μž…λ‹ˆλ‹€.
β€’
λ³΅μž‘ν•œ 감정 λ³€ν™”λ‚˜ λ―Έλ¬˜ν•œ λ‚΄λŸ¬ν‹°λΈŒ λ‰˜μ•™μŠ€λ₯Ό ν¬μ°©ν•˜λŠ” 데 μžˆμ–΄ 좔가적인 λ°œμ „μ΄ ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘