Confusion-Aware Rubric Optimization for LLM-based Automated Grading
Created by
- Haebom
Category
Empty
μ μ
Yucheng Chu, Hang Li, Kaiqi Yang, Yasemin Copur-Gencturk, Joseph Krajcik, Namsoo Shin, Jiliang Tang
π‘ κ°μ
LLM κΈ°λ° μλ μ±μ μ μ νμ±κ³Ό λͺ
νμ±μ λμ΄κΈ° μν΄, κΈ°μ‘΄ ν둬ννΈ μ΅μ ν λ°©λ²μ 'κ·μΉ ν¬μ' λ¬Έμ λ₯Ό ν΄κ²°νλ μλ‘μ΄ νλ μμν¬ CARO(Confusion-Aware Rubric Optimization)λ₯Ό μ μν©λλ€. CAROλ νΌλ νλ ¬μ νμ©νμ¬ μ€λ₯ μ νΈλ₯Ό κ°λ³ μ€λ₯ λͺ¨λλ‘ λΆν΄νκ³ , κ° λͺ¨λμ λν λ§μΆ€ν μμ ν¨μΉλ₯Ό μ μ©νμ¬ LLMμ μ±μ λ‘μ§ μΆ©λμ λ°©μ§ν©λλ€. μ΄λ₯Ό ν΅ν΄ μλ μ‘°μ μμ΄λ μ±μ μ νλμ κ³μ° ν¨μ¨μ±μ ν₯μμν΅λλ€.
π μμ¬μ λ° νκ³
β’
LLM κΈ°λ° μλ μ±μ μμ€ν
μ μ€λ₯ μ§λ¨ λ° μμ λ°©μμ κ·Όλ³Έμ μΌλ‘ κ°μ νμ¬ μ±μ μ νλλ₯Ό λμΌ μ μμ΅λλ€.
β’
κΈ°μ‘΄μ ν΅ν©μ μ€λ₯ μ²λ¦¬ λ°©μμ΄ κ°μ§ 'κ·μΉ ν¬μ' λ¬Έμ λ₯Ό ν΄κ²°νκ³ , λ³΄λ€ ν¨μ¨μ μΈ ν둬ννΈ μ΅μ νλ₯Ό κ°λ₯νκ² ν©λλ€.
β’
볡μ‘ν λλ©μΈμ΄λ μλ‘μ΄ μ±μ μμ
μ CAROλ₯Ό μ μ©ν λ, μ€λ₯ λͺ¨λ μλ³ λ° λ§μΆ€ν ν¨μΉ μμ±μ μΆκ°μ μΈ μ°κ΅¬κ° νμν μ μμ΅λλ€.
