haebom
Sign In
BIRDS: Characterizing and Understanding Biodiversity Impact of Large Language Model Serving
μμ±μ
Haebom
μΉ΄ν κ³ λ¦¬
Empty
μ μ
Tianyao Shi, Yi Ding
π‘ κ°μ
λ³Έ λ Όλ¬Έμ λκ·λͺ¨ μΈμ΄ λͺ¨λΈ(LLM) μλΉμ΄ νμ λ° λ¬Ό μλΉ μΈμλ μλ¬Ό λ€μμ±μ λ―ΈμΉλ μ μν₯μ νꡬν©λλ€. μ΄λ₯Ό μν΄ BIRDSλΌλ μλ‘μ΄ νλ μμν¬λ₯Ό μ μνμ¬, μμ² λ¨μμ κΈ°λ₯μ λ¨μλ₯Ό μ μνκ³ μ΄μ λ° λ΄μ¬λ μλ¬Ό λ€μμ± μν₯μ μ λνν©λλ€. BIRDSλ μλ΅ νμ§μ κ³ λ €ν μλ¬Ό λ€μμ± μν₯ μ§ν(QNBI)λ₯Ό λμ νμ¬, LLM μλΉμ κ·λͺ¨ νμ₯μ λ°λ₯Έ μλ¬Ό λ€μμ± μν₯ μΆμ κ³Ό νμ§ κΈ°λ°μ μ€ν κ°λ₯ν μ μΆ©μμ μ μν©λλ€.
π μμ¬μ λ° νκ³
β’
LLM μλΉμ΄ λ¨μν νμ λ° λ¬Ό μλΉλ₯Ό λμ΄ μλ¬Ό λ€μμ± κ°μλΌλ νκ²½μ μν₯μ μΌκΈ°νλ€λ μ μ λͺ νν ν©λλ€.
β’
μλ΅ νμ§κ³Ό μλ¬Ό λ€μμ± μν₯μ λμμ κ³ λ €νλ QNBI μ§νλ₯Ό ν΅ν΄ LLM μλΉμ μ€μ§μ μΈ νκ²½ λΆνλ₯Ό νκ°ν μ μλ μλ‘μ΄ μκ°μ μ 곡ν©λλ€.
β’
λ€μν μν¬λ‘λ, λͺ¨λΈ, GPU, μ§μμ κ±Έμ³ LLM μλΉμ μλ¬Ό λ€μμ± μν₯μ΄ κ·λͺ¨μ λ°λΌ μΆμ λλ©°, μ΄μ λν νμ§ κΈ°λ°μ μμ¬ κ²°μ μ΄ νμν¨μ 보μ¬μ€λλ€.
β’
λ³Έ μ°κ΅¬λ LLM μλΉμ μλ¬Ό λ€μμ± μν₯λ§μ λ€λ£¨μμΌλ©°, LLM νμ΅ λ¨κ³μμμ μν₯μ΄λ λ€λ₯Έ νκ²½μ μΈ‘λ©΄(μ: μμ κ³ κ°)μ λν λΆμμ ν¬ν¨νμ§ μμμ΅λλ€. ν₯ν μ°κ΅¬μμλ μ΄λ¬ν μΈ‘λ©΄λ€μ ν΅ν©μ μΌλ‘ κ³ λ €ν΄μΌ ν κ²μ λλ€.
PDF 보기
Made with Slashpage