Do LLMs Act Like Rational Agents? Measuring Belief Coherence in Probabilistic Decision Making
Created by
- Haebom
Category
Empty
μ μ
Khurram Yamin, Jingjing Tang, Santiago Cortes-Gomez, Amit Sharma, Eric Horvitz, Bryan Wilder
π‘ κ°μ
λ³Έ μ°κ΅¬λ λκ·λͺ¨ μΈμ΄ λͺ¨λΈ(LLM)μ΄ λΆνμ€ν μν©μμ ν©λ¦¬μ μΈ μμ¬κ²°μ μ λ΄λ¦¬λ μμ΄μ νΈλ‘μ κΈ°λ₯ν μ μλμ§, νΉν μ λ
μ μΌκ΄μ±κ³Ό νλ₯ μ μμ¬κ²°μ λ₯λ ₯μ μ€μ¬μΌλ‘ νꡬν©λλ€. LLMμ νλ₯ μΆλ‘ κ³Ό μ€μ νλμ λ² μ΄μ¦ μ΅μ νμ λΉκ΅νμ¬, LLMμ μ λ
μ΄ ν©λ¦¬μ μΈ μμ΄μ νΈμ μ λ
κ³Ό μΌμΉνμ§ μλ κ²½μ°λ₯Ό νλ³ν μ μλ λ°©λ²λ‘ μ μ μν©λλ€. μ΄ λ°©λ²λ‘ μ μλ£ μ§λ¨ λΆμΌμ μ μ©νμ¬ μ¬λ¬ LLMμ νκ°ν κ²°κ³Ό, LLMμ μμ¬κ²°μ λ
Όλ¦¬μ λν μ€μν ν΅μ°°μ μ»μμ΅λλ€.
π μμ¬μ λ° νκ³
β’
LLMμ΄ λμ μνμ λλ°νλ λΆμΌμμ μμ¬κ²°μ μ λ΄λ¦΄ λ, κ·Έλ€μ μ λ
μ΄ νμ μΌκ΄λκ±°λ ν©λ¦¬μ μΈ μμ΄μ νΈμ νλκ³Ό μΌμΉνμ§ μμ μ μμμ 보μ¬μ€λλ€.
β’
LLMμ νλ₯ μ μΆλ‘ κ³Ό μ€μ νλ κ°μ λΆμΌμΉλ₯Ό μλ³ν μ μλ μ€νμ νλ μμν¬λ₯Ό μ 곡νμ¬, LLMμ μ λ’°μ±μ νκ°νκ³ κ°μ νλ λ° κΈ°μ¬ν μ μμ΅λλ€.
β’
νμ¬ μ°κ΅¬λ νΉμ μ§λ¨ λ¬Έμ μ LLMμ κ΅νλμ΄ μμΌλ©°, λ€μν λλ©μΈκ³Ό μ΅μ LLMμΌλ‘ νμ₯νμ¬ μΌλ°ν κ°λ₯μ±μ κ²μ¦ν νμκ° μμ΅λλ€.
