Sign In

MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants

Created by
  • Haebom
Category
Empty

μ €μž

Zuhao Zhang, Chengyue Yu, Yuante Li, Chenyi Zhuang, Linjian Mo, Shuai Li

πŸ’‘ κ°œμš”

λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)이 ν…μŠ€νŠΈ 기반 μ‘λ‹΅μ—μ„œ HTML 기반의 μƒν˜Έμž‘μš© κ°€λŠ₯ν•œ μ• ν”Œλ¦¬μΌ€μ΄μ…˜(MiniApps)으둜 λ°œμ „ν•¨μ— 따라, κΈ°μ‘΄ λ²€μΉ˜λ§ˆν¬λ‘œλŠ” μ΄λŸ¬ν•œ λ³€ν™”λ₯Ό μΈ‘μ •ν•˜λŠ” 데 ν•œκ³„κ°€ μžˆμŠ΅λ‹ˆλ‹€. λ³Έ μ—°κ΅¬λŠ” ν˜„μ‹€ μ„Έκ³„μ˜ 원칙을 λ”°λ₯΄λ©΄μ„œ μ‹œκ°μ  μΈν„°νŽ˜μ΄μŠ€μ™€ μƒν˜Έμž‘μš© λ‘œμ§μ„ μƒμ„±ν•˜λŠ” LLM의 λŠ₯λ ₯을 ν‰κ°€ν•˜κΈ° μœ„ν•œ 졜초의 μ’…ν•© 벀치마크인 MiniAppBenchλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. 500개의 μ‹€μ œ μ• ν”Œλ¦¬μΌ€μ΄μ…˜ 기반 νƒœμŠ€ν¬λ₯Ό ν¬ν•¨ν•˜λŠ” MiniAppBench와 ν•¨κ»˜, λ³Έ μ—°κ΅¬λŠ” 'MiniAppEval'μ΄λΌλŠ” μƒˆλ‘œμš΄ μ—μ΄μ „νŠΈ 기반 평가 ν”„λ ˆμž„μ›Œν¬λ₯Ό κ°œλ°œν•˜μ—¬ κ°œλ°©ν˜• μƒν˜Έμž‘μš©μ˜ 평가 문제λ₯Ό ν•΄κ²°ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM은 μ‹œκ°μ  μΈν„°νŽ˜μ΄μŠ€μ™€ μƒν˜Έμž‘μš© λ‘œμ§μ„ μƒμ„±ν•˜λŠ” 데 μžˆμ–΄ μ—¬μ „νžˆ μƒλ‹Ήν•œ 어렀움을 κ²ͺκ³  있으며, MiniApps 생성을 μœ„ν•œ 더 λ°œμ „λœ λͺ¨λΈμ΄ ν•„μš”ν•©λ‹ˆλ‹€.
β€’
MiniAppEval은 λΈŒλΌμš°μ € μžλ™ν™”λ₯Ό ν™œμš©ν•œ 탐색적 ν…ŒμŠ€νŒ…μ„ 톡해 μΈκ°„μ˜ νŒλ‹¨κ³Ό 높은 μΌμΉ˜λ„λ₯Ό 보여, LLM 기반 μ• ν”Œλ¦¬μΌ€μ΄μ…˜ 평가λ₯Ό μœ„ν•œ μ‹ λ’°ν•  수 μžˆλŠ” ν‘œμ€€μ„ μ œμ‹œν•©λ‹ˆλ‹€.
β€’
λ²€μΉ˜λ§ˆν¬κ°€ μ‹€μ œ μ• ν”Œλ¦¬μΌ€μ΄μ…˜μ—μ„œ νŒŒμƒλ˜μ—ˆμ§€λ§Œ, 500개의 νƒœμŠ€ν¬κ°€ MiniApp의 λͺ¨λ“  λ³΅μž‘μ„±μ„ ν¬κ΄„ν•˜κΈ°μ—λŠ” μ œν•œμ μΌ 수 있으며, ν–₯ν›„ 더 λ‹€μ–‘ν•œ μ‹œλ‚˜λ¦¬μ˜€μ™€ λ³΅μž‘ν•œ μƒν˜Έμž‘μš©μ— λŒ€ν•œ 평가가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage