Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

UI-UG: A Unified MLLM for UI Understanding and Generation

Created by
  • Haebom

作者

Hao Yang, Weijie Qiu, Ru Zhang, Zhou Fang, Ruichao Mao, Xiaoyu Lin, Maji Huang, Zhaosong Huang, Teng Guo, Shuoyang Liu, Hai Rao

UI-UG:UI理解と生成のための統合MLLM

概要

本論文では、UI理解と生成能力を統合したUI-UGを紹介します。 UI-UGは、複雑なUIデータを正確に理解するためにSFTとGRPOを組み合わせ、人間が好むUIを生成するためにDPOを使用します。また、LLMフレンドリーなDSL設計、トレーニング戦略、レンダリングプロセス、評価指標などの産業的に効果的なワークフローを提案します。実験の結果、UI-UGはUI理解タスクでSOTAパフォーマンスを達成し、UI生成パフォーマンスでも競争力を示しています。

Takeaways、Limitations

Takeaways:
UI理解と生成能力を統合し、両方のタスクのパフォーマンスを向上させました。
産業用途を考慮したワークフローを提示しました。
UI理解作業では、従来のモデルと比較して優れたパフォーマンスを示しました。
UI生成では、より少ない計算コストで競争力のあるパフォーマンスを達成しました。
Limitations:
論文の内容だけでは、UI-UGの具体的なLimitations(例:特定のUIタイプのパフォーマンスの低下、DSLの制約など)に関する情報は把握するのが困難です。
改善されたワークフローの産業適用の成功事例の具体的な内容は示されていません。
👍