Investigating Multimodal Large Language Models to Support Usability Evaluation
Created by
- Haebom
Category
Empty
μ μ
Sebastian Lubos, Alexander Felfernig, Damian Garber, Gerhard Leitner, Julian Schwazer, Manuel Henrich
π‘ κ°μ
λ³Έ μ°κ΅¬λ μ¬μ©μ μΈν°νμ΄μ€(UI)μ ν¨κ³Όμ μ΄κ³ μ§κ΄μ μΈ μ€κ³λ₯Ό μ§μνλ λ° νμμ μΈ μ¬μ©μ± νκ°μ μ κ·Όμ±μ λμ΄κΈ° μν΄ λ©ν°λͺ¨λ¬ λκ·λͺ¨ μΈμ΄ λͺ¨λΈ(MLLM)μ νμ© κ°λ₯μ±μ νμν©λλ€. ν
μ€νΈ μ§μΉ¨κ³Ό μκ°μ UI 컨ν
μ€νΈλ₯Ό ν¨κ» λΆμνλ MLLMμ μ¬μ©μ± νκ°μ 보쑰 λκ΅¬λ‘ νμ©νλ©°, μ΄λ₯Ό λ¬Έμ μ μ°μ μμ κ²°μ λ¬Έμ λ‘ νλ μννμ¬ μ¬μ©μ± λ¬Έμ μ μ μλ³, μ€λͺ
νκ³ μ¬κ°λλ³λ‘ μμλ₯Ό 맀κΉλλ€.
π μμ¬μ λ° νκ³
β’
MLLMμ μ¬μ©μ± μ λ¬Έκ°μ νκ°μ μνΈ λ³΄μμ μΈ ν΅μ°°λ ₯μ μ 곡νλ©°, μ€μν λ¬Έμ μ λν ν¨μ¨μ μΈ μ°μ μμ κ²°μ μ μ§μν μ μμ΅λλ€.
β’
λͺ¨λΈμ΄ μμ±ν κ²°κ³Όμ λν ν¬λͺ
ν κ²ν λ° κ²μ¦μ κ°λ₯νκ² νλ λνν μκ°ν λꡬλ₯Ό μ μνμ¬ μ€μ κ°λ° μν¬νλ‘μ°μ MLLM κΈ°λ° μ¬μ©μ± νκ°λ₯Ό ν΅ν©ν μ μλ λ°©μμ μ μν©λλ€.
β’
MLLMμ νκ° κ²°κ³Όκ° μΈκ° μ λ¬Έκ°μ νκ°μ μ΄λ»κ² λΉκ΅λλμ§μ λν μ€μ¦μ μ°κ΅¬λ₯Ό ν΅ν΄ MLLMμ νμ¬ μ±λ₯μ 보μ¬μ£Όμ§λ§, λ€μν UI λ° λ³΅μ‘ν μ¬μ©μ± λ¬Έμ μ λν MLLMμ μ λ°μ μΈ μ νμ± λ° μ λ’°μ±μ λν μΆκ°μ μΈ μ°κ΅¬κ° νμν©λλ€.
