Sign In

Motion-o: Trajectory-Grounded Video Reasoning

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Bishoy Galoaa, Shayda Moezzi, Xiangyu Bai, Sarah Ostadabbas

πŸ’‘ κ°œμš”

κΈ°μ‘΄ λΉ„λ””μ˜€ μΆ”λ‘  λͺ¨λΈμ€ 객체의 μœ„μΉ˜μ™€ μ‹œμ μ„ λͺ…ν™•νžˆ ν•˜μ§€λ§Œ, 객체 κ°„μ˜ μ›€μ§μž„("μ–΄λ–»κ²Œ")을 μ•”μ‹œμ μœΌλ‘œ 닀루어 동적이고 ꢀ적 의쑴적인 μ£Όμž₯을 κ²€μ¦ν•˜κΈ° μ–΄λ ΅κ²Œ λ§Œλ“­λ‹ˆλ‹€. λ³Έ 논문은 μ΄λŸ¬ν•œ λ¬Έμ œμ μ„ ν•΄κ²°ν•˜κΈ° μœ„ν•΄ 객체의 μ›€μ§μž„ ꢀ적을 λͺ…μ‹œμ μœΌλ‘œ λͺ¨λΈλ§ν•˜λŠ” "Motion-o"λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. Motion-oλŠ” Motion Chain of Thought (MCoT)λ₯Ό 톡해 객체의 λ°©ν–₯, 속도, 크기 λ³€ν™”λ₯Ό μš”μ•½ν•˜λŠ” νƒœκ·Έλ‘œ μ›€μ§μž„μ„ ν‘œν˜„ν•˜λ©°, 이λ₯Ό 톡해 λΉ„λ””μ˜€ λ‚΄μ˜ 동적인 λ‚΄μš©μ„ λ”μš± μ •ν™•ν•˜κ²Œ μΆ”λ‘ ν•  수 μžˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λͺ…μ‹œμ  μ›€μ§μž„ ν‘œν˜„μ˜ μ€‘μš”μ„±: λΉ„λ””μ˜€ μΆ”λ‘ μ—μ„œ 객체의 동적인 λ³€ν™”, 즉 μ›€μ§μž„μ„ λͺ…μ‹œμ μœΌλ‘œ λͺ¨λΈλ§ν•˜λŠ” 것이 λΉ„λ””μ˜€ μ΄ν•΄μ˜ μ •ν™•μ„±κ³Ό 해석 κ°€λŠ₯성을 λ†’μ΄λŠ” 데 κΈ°μ—¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
ꢀ적 기반 μΆ”λ‘ μ˜ κ°•ν™”: Motion-oλŠ” κΈ°μ‘΄ VLM νŒŒμ΄ν”„λΌμΈμ— ν†΅ν•©λ˜μ–΄ ꢀ적 일관성 및 μ‹œκ°μ  근거에 λŒ€ν•œ 보상을 톡해 동적인 μ£Όμž₯을 λ”μš± μ‹ λ’°μ„± 있게 검증할 수 있게 ν•©λ‹ˆλ‹€.
β€’
데이터 및 계산 λ³΅μž‘μ„±: 객체 좔적 및 μ›€μ§μž„ 기술자 νŒŒμƒκ³Ό 같이 μƒμ„Έν•œ ꢀ적 정보λ₯Ό μƒμ„±ν•˜κ³  ν™œμš©ν•˜λŠ” 과정은 좔가적인 데이터 μ–΄λ…Έν…Œμ΄μ…˜ 및 계산 μžμ›μ„ μš”κ΅¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage