Concept-as-Tree: A Controllable Synthetic Data Framework Makes Stronger Personalized VLMs
μμ±μ
- Haebom
μΉ΄ν
κ³ λ¦¬
Empty
μ μ
Ruichuan An, Kai Zeng, Ming Lu, Sihan Yang, Renrui Zhang, Huitong Ji, Hao Liang, Wentao Zhang
π‘ κ°μ
κΈ°μ‘΄ μκ°-μΈμ΄ λͺ¨λΈ(VLM) κ°μΈν λ°©λ²μ μ¬μ©μ μ 곡 κΈμ μ μν λΆμ‘± λ° λΆμ μ μν νμ§ μ ν λ¬Έμ λ₯Ό κ²ͺκ³ μμ΅λλ€. λ³Έ μ°κ΅¬λ μνμ μκ³Ό λ€μμ±μ΄ VLM κ°μΈν μ±λ₯μ λ―ΈμΉλ μν₯μ λΆμνκ³ , μ΄λ₯Ό λ°νμΌλ‘ κ°λ
μ νΈλ¦¬ κ΅¬μ‘°λ‘ νννμ¬ λμ΄λμ λ€μμ±μ΄ μ‘°μ κ°λ₯ν κΈμ /λΆμ μνμ μμ±νλ Concept-as-Tree (CaT) νλ μμν¬λ₯Ό μ μν©λλ€. CaTλ ν¨κ³Όμ μΈ λ°μ΄ν° νν°λ§ μ λ΅κ³Ό ν¨κ» VLM κ°μΈν μ±λ₯μ ν¬κ² ν₯μμν΅λλ€.
π μμ¬μ λ° νκ³
β’
VLM κ°μΈνμμ κΈμ μ μνμ μκ³Ό μ§, κ·Έλ¦¬κ³ λΆμ μ μνμ λμ΄λμ λ€μμ±μ΄ λͺ¨λΈ μ±λ₯μ κ²°μ μ μΈ μν₯μ λ―ΈμΉλ€λ μ μ μ€νμ μΌλ‘ κ·λͺ
νμ΅λλ€.
β’
κ°λ
μ νΈλ¦¬ κ΅¬μ‘°λ‘ νννκ³ λμ΄λ μ‘°μ μ΄ κ°λ₯ν λ°μ΄ν°λ₯Ό ν©μ±νλ Concept-as-Tree (CaT) νλ μμν¬λ VLM κ°μΈνμ κ³ μ§μ μΈ λ°μ΄ν° λ¬Έμ λ₯Ό ν¨κ³Όμ μΌλ‘ ν΄κ²°ν μ μμ΅λλ€.
β’
λ³Έ μ°κ΅¬λ VLM κ°μΈνλ₯Ό μν μ΅μ΄μ μ μ΄ κ°λ₯ν ν©μ± λ°μ΄ν° νμ΄νλΌμΈμ μ μνλ©°, ν₯ν λ€μν VLM κ°μΈν μ°κ΅¬μ κΈ°μ¬ν μ μμ΅λλ€.
β’
μ μλ CaT νλ μμν¬λ λ€κ°λ
μλ리μ€λ‘ νμ₯μ΄ μ©μ΄νλλ‘ μ€κ³λμμ§λ§, νΉμ VLM μν€ν
μ²μ λν μ΅μ ν λ° νμ€ μΈκ³μ 볡μ‘νκ³ λ―Έλ¬ν μ¬μ©μ κ°λ
μ μλ²½νκ² ν¬μ°©νλ λ°μλ μΆκ°μ μΈ μ°κ΅¬κ° νμν μ μμ΅λλ€.
