Sign In

Open-SAT: LLM-Guided Query Embedding Refinement for Open-Vocabulary Object Retrieval in Satellite Imagery

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Md Adnan Arefeen, Biplob Debnath, Ravi K. Rajendran, Murugan Sankaradas, Srimat T. Chakradhar

πŸ’‘ κ°œμš”

λ³Έ 논문은 μœ„μ„± μ˜μƒμ—μ„œ 미리 μ •μ˜λœ λ²”μ£Όλ₯Ό λ„˜μ–΄μ„  μžμ—°μ–΄ μ§ˆμ˜μ— λŒ€ν•œ 객체 κ²€μƒ‰μ˜ 어렀움을 ν•΄κ²°ν•˜κΈ° μœ„ν•΄ Open-SATλ₯Ό μ œμ•ˆν•œλ‹€. Open-SATλŠ” μΆ”λ‘  μ‹œμ μ— λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)을 ν™œμš©ν•˜μ—¬ 질의 μž„λ² λ”©μ„ μ •μ œν•¨μœΌλ‘œμ¨, κΈ°μ‘΄ λΉ„μ „-μ–Έμ–΄ λͺ¨λΈ(VLM)의 ν•œκ³„λ₯Ό κ·Ήλ³΅ν•˜κ³  μœ„μ„± μ˜μƒκ³Όμ˜ μ •λ ¬ 정확도λ₯Ό ν–₯μƒμ‹œν‚¨λ‹€. μ‹€ν—˜ κ²°κ³Ό, Open-SATλŠ” 좔가적인 ν›ˆλ ¨ 없이도 F1 점수λ₯Ό μ΅œλŒ€ 16.04% ν–₯μƒμ‹œν‚€λŠ” μ„±κ³Όλ₯Ό λ³΄μ—¬μ£Όμ—ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM 기반 질의 μž„λ² λ”© μ •μ œλ₯Ό ν†΅ν•œ μ„±λŠ₯ ν–₯상: LLM이 질의의 λ¬Έλ§₯ 정보λ₯Ό ν™œμš©ν•˜μ—¬ μž„λ² λ”©μ„ μ •μ œν•¨μœΌλ‘œμ¨, VLMλ§ŒμœΌλ‘œλŠ” μ–΄λ €μš΄ κ°œλ°©ν˜• μ–΄νœ˜μ˜ μœ„μ„± μ˜μƒ κ²€μƒ‰μ—μ„œ 의미둠적 μ •λ ¬ 정확도λ₯Ό 크게 κ°œμ„ ν•  수 μžˆμŒμ„ μž…μ¦ν•˜μ˜€λ‹€.
β€’
ν›ˆλ ¨-자유(Training-free) μ ‘κ·Ό λ°©μ‹μ˜ νš¨μœ¨μ„±: λ³„λ„μ˜ μΆ”κ°€ ν›ˆλ ¨ 없이 μΆ”λ‘  μ‹œμ μ—λ§Œ μž‘λ™ν•˜λŠ” μ•Œκ³ λ¦¬μ¦˜ μ„€κ³„λ‘œ 인해 κΈ°μ‘΄ λͺ¨λΈμ— μ‰½κ²Œ 적용 κ°€λŠ₯ν•˜λ©°, 데이터셋 ꡬ좕 및 λͺ¨λΈ μž¬ν•™μŠ΅μ— λŒ€ν•œ 뢀담을 쀄여 μ‹€μš©μ„±μ„ λ†’μ˜€λ‹€.
β€’
κ°œλ°©ν˜• μ–΄νœ˜ 검색 λŠ₯λ ₯ κ°•ν™”: κ³ μ •λœ 범주에 μ˜μ‘΄ν•˜λŠ” κΈ°μ‘΄ 방식과 달리, λ‹€μ–‘ν•œ μ‹€μ œ μ‚¬μš©μž μ§ˆμ˜μ— λŒ€ν•œ λŒ€μ‘ λŠ₯λ ₯을 ν–₯μƒμ‹œμΌœ μœ„μ„± μ˜μƒ ν™œμš© λΆ„μ•Όμ˜ λ²”μš©μ„±μ„ λ„“νž 수 μžˆλ‹€.
β€’
질의의 λ³΅μž‘μ„± 및 λͺ¨ν˜Έμ„±μ— λŒ€ν•œ 민감성: LLM이 질의λ₯Ό μ΄ν•΄ν•˜λŠ” κ³Όμ •μ—μ„œ λ°œμƒν•˜λŠ” 잠재적인 μ˜€ν•΄λ‚˜ λͺ¨ν˜Έμ„±μ΄ μ΅œμ’… 검색 결과에 영ν–₯을 λ―ΈμΉ  수 있으며, λ‹€μ–‘ν•œ λ³΅μž‘μ„±μ˜ μ§ˆμ˜μ— λŒ€ν•œ μΌλ°˜ν™” μ„±λŠ₯에 λŒ€ν•œ 좔가적인 검증이 ν•„μš”ν•˜λ‹€.
β€’
μ‹€μ‹œκ°„ 처리 λŠ₯λ ₯ 및 계산 λΉ„μš©: LLM μΆ”λ‘  과정이 μΆ”κ°€λ˜λ©΄μ„œ μ‹€μ‹œκ°„ 검색 μ‹œμŠ€ν…œμ—μ„œμ˜ 응닡 속도 및 계산 μžμ› μš”κ΅¬λŸ‰μ— λŒ€ν•œ κ³ λ €κ°€ ν•„μš”ν•  수 μžˆλ‹€.
πŸ‘
Made with Slashpage