Sign In

OASIS: A Multilingual and Multimodal Dataset for Culturally Grounded Spoken Visual QA

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Firoj Alam, Ali Ezzat Shahroor, Md. Arid Hasan, Zien Sheikh Ali, Hunzalah Hassan Bhatti, Mohamed Bayan Kmainasi, Shammur Absar Chowdhury, Basel Mousi, Fahim Dalvi, Nadir Durrani, Natasa Milic-Frayling

πŸ’‘ κ°œμš”

κΈ°μ‘΄ λŒ€κ·œλͺ¨ 닀쀑λͺ¨λ‹¬ λͺ¨λΈμ€ λ¬Έν™” 및 일상 상식, 특히 μ €μžμ› μ–Έμ–΄μ—μ„œμ˜ μ§ˆμ˜μ— 어렀움을 κ²ͺμŠ΅λ‹ˆλ‹€. λ³Έ 논문은 이미지, ν…μŠ€νŠΈ, μŒμ„±μ„ ν¬κ΄„ν•˜λŠ” λŒ€κ·œλͺ¨ λ¬Έν™” 기반 닀쀑λͺ¨λ‹¬ QA 데이터셋인 OASISλ₯Ό μ œμ•ˆν•˜λ©°, μ΄λŠ” 일상적인 λ§₯λ½μ—μ„œ λͺ¨λΈμ˜ μ‹€μš©μ , 상식적, 문화적 μΆ”λ‘  λŠ₯λ ₯을 ν‰κ°€ν•©λ‹ˆλ‹€. OASISλŠ” 0.92M개의 μ‹€μ œ 이미지와 14.8M개의 QA μŒμ„ ν¬ν•¨ν•˜λ©°, 42λͺ…μ˜ ν™”μžκ°€ λ…ΉμŒν•œ 3.7M개의 μŒμ„± 질문(383μ‹œκ°„)κ³Ό μŒμ„± 볡제(20Kμ‹œκ°„)λ₯Ό μ§€μ›ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λ‹€μ–‘ν•œ μ–Έμ–΄(μ˜μ–΄, ν˜„λŒ€ ν‘œμ€€ μ•„λžμ–΄ 및 λ°©μ–Έ λ“±)와 λ¬Έν™”κΆŒ(18개ꡭ)을 μ•„μš°λ₯΄λŠ” 데이터셋을 κ΅¬μΆ•ν•˜μ—¬, λ‹€κ΅­μ–΄ 및 λ‹€λ¬Έν™” ν™˜κ²½μ—μ„œμ˜ VQA λͺ¨λΈ μ„±λŠ₯ ν–₯상에 κΈ°μ—¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
λ‹¨μˆœν•œ 객체 인식을 λ„˜μ–΄, μ‹€μƒν™œ μ‹œλ‚˜λ¦¬μ˜€μ—μ„œ μš”κ΅¬λ˜λŠ” λ³΅μž‘ν•˜κ³  문화적인 μΆ”λ‘  λŠ₯λ ₯을 평가할 수 μžˆλŠ” μƒˆλ‘œμš΄ 벀치마크λ₯Ό μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
μŒμ„± μž…λ ₯κ³Ό 이미지 μž…λ ₯을 μ‘°ν•©ν•˜κ±°λ‚˜ λ…λ¦½μ μœΌλ‘œ ν™œμš©ν•  수 μžˆλŠ” λ‹€μ–‘ν•œ μž…λ ₯ 섀정은 λ”μš± ν˜„μ‹€μ μΈ VQA ν™˜κ²½μ„ λͺ¨μ‚¬ν•©λ‹ˆλ‹€.
β€’
μŒμ„± λ°μ΄ν„°μ˜ 상당 뢀뢄이 μŒμ„± 볡제둜 이루어져 μžˆμ–΄, μ‹€μ œ μ‚¬λžŒμ˜ μŒμ„±κ³Ό 볡제된 μŒμ„± κ°„μ˜ λͺ¨λΈ μ„±λŠ₯ 차이에 λŒ€ν•œ 좔가적인 뢄석이 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage