LemonadeBench: Evaluating the Economic Intuition of Large Language Models in Simple Markets
Created by
- Haebom
Category
Empty
μ μ
Aidan Vyas
π‘ κ°μ
λ³Έ μ°κ΅¬λ LLMμ κ²½μ μ μ§κ΄, μ₯κΈ° κ³ν, λΆνμ€μ± νμ μμ¬κ²°μ λ₯λ ₯μ νκ°νκΈ° μν 'LemonadeBench v0.5'λΌλ μλ‘μ΄ λ²€μΉλ§ν¬λ₯Ό μκ°ν©λλ€. μ΄ λ²€μΉλ§ν¬λ LLMμ΄ μ ν΅κΈ°νμ΄ μλ μ¬κ³ κ΄λ¦¬, κ°κ²© μ±
μ , μμ
μκ° κ²°μ λ±μ ν΅ν΄ 30μΌκ° μμ΅μ κ·Ήλννλλ‘ μꡬν©λλ€. μ€ν κ²°κ³Ό, λͺ¨λ LLMμ΄ μμ΅μ±μ λ¬μ±νμ§λ§, μΌλΆλ μ΄λ‘ μ μ΅μ μΉμ 70%κΉμ§ λλ¬νλ λ°λ©΄, μ λ°μ μΌλ‘ μ§μ μ΅μ νμ μΉμ€νμ¬ νΉμ μμμμλ μ°μνμ§λ§ λ€λ₯Έ μμμμλ μμμΉ λͺ»ν μ½μ μ 보μ΄λ ν¨ν΄μ 보μμ΅λλ€.
π μμ¬μ λ° νκ³
β’
LLMμ κΈ°λ³Έμ μΈ κ²½μ μ μμ¬κ²°μ λ₯λ ₯μ 보μ¬μ£Όμ§λ§, μ΅μ²¨λ¨ λͺ¨λΈλ§μ΄ λμ μμ€μ μ΅μ ν μ±κ³Όλ₯Ό λ¬μ±ν μ μμ΅λλ€.
β’
LLMμ μ μμ μΈ μ΅μ ν보λ€λ κ΅μμ μΈ μ΅μ νμ κ°μ μ 보μ΄λ©°, νΉμ λΉμ¦λμ€ μΈ‘λ©΄μμλ λ°μ΄λμ§λ§ λ€λ₯Έ μΈ‘λ©΄μμλ λΆμ‘±ν¨μ λνλ
λλ€.
β’
LLMμ μμ¬κ²°μ κ³Όμ μμ λ°μνλ 'κΉκΉμ΄(blind spots)' νμμ μ΄ν΄νκ³ κ°μ νκΈ° μν μΆκ° μ°κ΅¬κ° νμνλ©°, μ΄λ LLMμ μ λ°μ μΈ μ€μ©μ±μ λμ΄λ λ° μ€μν©λλ€.
