Adaptive Generation of Bias-Eliciting Questions for LLMs
μμ±μ
- Haebom
μΉ΄ν
κ³ λ¦¬
Empty
μ μ
Robin Staab, Jasper Dekoninck, Maximilian Baader, Martin Vechev
π‘ κ°μ
λ³Έ λ
Όλ¬Έμ LLMμ νΈν₯μ±μ νμ§νκΈ° μν΄ κΈ°μ‘΄μ λ¨μν ν
νλ¦Ώ κΈ°λ° μ§λ¬Έ λ°©μμ νκ³λ₯Ό μ§μ νκ³ , μ€μ μ¬μ© νκ²½κ³Ό μ μ¬ν κ°λ°©ν μ§λ¬Έμ μλμΌλ‘ μμ±νλ μλ‘μ΄ λ°μ¬μ€μ νλ μμν¬λ₯Ό μ μν©λλ€. μ΄ νλ μμν¬λ λ°λ³΅μ μΈ μ§λ¬Έ λ³μ΄λ₯Ό ν΅ν΄ λͺ¨λΈμ΄ νΈν₯λ νλμ λ³΄μΌ κ°λ₯μ±μ΄ λμ μμμ 체κ³μ μΌλ‘ νμνλ©°, μ΄λ₯Ό ν΅ν΄ νΈν₯ νμ§λ₯Ό λμ΄ λΉλμΉμ κ±°λΆ λ° λͺ
μμ νΈν₯ μΈμ κ³Ό κ°μ λ°μ μ°¨μκΉμ§ ν¬μ°©ν©λλ€. κ²°κ³Όμ μΌλ‘ CABλΌλ μλ‘κ³ μΈκ° κ²μ¦λ λ²€μΉλ§ν¬λ₯Ό ꡬμΆνμ¬ μ΅μ LLMμ νμ€μ μ΄κ³ λ―Έλ¬ν νΈν₯ νκ°μ κΈ°μ¬ν©λλ€.
π μμ¬μ λ° νκ³
β’
LLMμ νΈν₯μ± νκ°μ μμ΄ νμ€μ μ΄κ³ 볡μ‘ν μ¬μ©μ μνΈμμ©μ λ°μνλ κ°λ°©ν μ§λ¬Έ μμ±μ μ€μμ±μ κ°μ‘°ν©λλ€.
β’
μ μλ νλ μμν¬λ LLMμ νΈν₯μ±μ νμ§νλ κ²μ λμ΄, λ€μν λ°μ μ°¨μμ ν¬μ°©νμ¬ λ³΄λ€ ν¬κ΄μ μΈ νκ°κ° κ°λ₯ν¨μ μμ¬ν©λλ€.
β’
CAB λ²€μΉλ§ν¬λ₯Ό ν΅ν΄ νμ¬ LLMλ€μ΄ νΉμ μλ리μ€μμ μ¬μ ν μ§μμ μΈ νΈν₯μ 보μ΄λ©°, 곡μ μ± μ°κ΅¬μ νμμ±μ μ¬νμΈμμΌ μ€λλ€.
β’
(νκ³μ λλ ν₯ν κ³Όμ ) μμ±λ μ§λ¬Έμ λ€μμ±κ³Ό νμ€μ±μ λμ± λμ΄κΈ° μν μΆκ°μ μΈ μ°κ΅¬ λ° λ°©λ²λ‘ κ°λ°μ΄ νμν μ μμ΅λλ€. λν, λͺ¨λΈμ νΈν₯μ±μ μννκΈ° μν ν¨κ³Όμ μΈ λ°©μ λͺ¨μλ ν₯ν μ€μν κ³Όμ κ° λ κ²μ
λλ€.
