LLM은 과연 만능인가?
Haebom
해봄의 아카이브
Eight Things to Know about Large Language Models.pdf818.61KB
LLMs에 대해 알고 있어야할 8가지
•
투자 증가에 따른 능력 향상: LLMs는 특정 혁신 없이도 투자가 증가함에 따라 예측 가능하게 더 능력이 향상됩니다.
•
중요한 행동의 예측 불가능한 등장: 많은 중요한 LLM 행동은 투자 증가의 부산물로 예측 불가능하게 나타납니다.
•
외부 세계의 표현 학습: LLMs는 종종 외부 세계의 표현을 학습하고 사용하는 것으로 보입니다.
•
행동 제어의 부재: LLMs의 행동을 안정적으로 제어할 수 있는 기술은 아직 없습니다.
•
내부 작동의 미해석: 전문가들은 아직 LLMs의 내부 작동을 해석할 수 없습니다.
•
인간 성능의 상한이 아님: 인간의 성능이 LLM이 수행할 수 있는 특정 작업의 상한선이 아닙니다.
•
창작자의 가치 표현 필요 없음: LLMs는 창작자나 웹 텍스트에 인코딩된 가치를 반드시 표현할 필요는 없습니다.
•
짧은 상호작용의 오해: LLMs와의 짧은 상호작용은 종종 오해를 불러일으킬 수 있습니다.
대규모 언어 모델(LLMs)을 이해하는 데 요리의 예술과 과학에 비유하는 것은 매우 흥미롭습니다. 이 모델들은 마치 세련된 요리사처럼 언어라는 재료를 다루며, 풍부한 '투자'는 그들의 요리 기술을 향상시킵니다. 이 비유를 통해 LLMs의 복잡한 기능을 좀 더 이해하기 쉽게 설명할 수 있습니다.
LLMs의 'autocomplete' 기능은 마치 요리사가 재료의 맛을 예측하고 조화롭게 조리하는 것과 비슷합니다. 주어진 텍스트의 '맛'을 감지하고, 어울리는 다음 단어나 문장이라는 '재료'를 추가하여 맛있는 '요리'를 완성합니다. 이 과정에서 LLMs는 다양한 언어 패턴과 구조를 '미각'으로 분석하며, 이를 통해 적절한 '요리법'을 창조합니다.
Autocomplete 방법 (심화)
•
시퀀스 예측: LLMs는 주어진 텍스트 시퀀스에 대해 가장 적절하거나 가능성 있는 다음 단어나 문장을 예측합니다. 이는 일반적인 자동 완성 기능과 유사하지만, LLMs는 훨씬 더 복잡하고 정교한 방식으로 작동합니다.
•
통계적 학습: LLMs는 클로드 섀넌(Claude Shannon)에 의해 개발된 통계적 방법을 사용하여 텍스트의 다음 부분을 예측합니다. 이는 대량의 데이터에서 패턴을 학습하고 이를 기반으로 예측을 하는 과정입니다.
•
내부 표현의 사용: LLMs는 외부 세계에 대한 내부 표현을 학습하고 사용합니다. 이 표현은 모델이 텍스트를 단순히 형태적으로만 처리하는 것이 아니라, 어느 정도의 추상화 수준에서 추론할 수 있게 합니다.
•
컨텍스트 기반 학습: LLMs는 '인-컨텍스트 학습'이라는 현상을 보입니다. 이는 모델이 주어진 컨텍스트(예: 이전에 본 텍스트)를 바탕으로 학습하고 예측하는 능력을 의미합니다.
LLMs의 발달에 필요한 '투자'는 마치 요리사가 더 나은 요리를 만들기 위해 새로운 재료를 탐색하고, 더 큰 부엌을 갖추며, 더 많은 시간을 연습에 투자하는 것과 같습니다. 데이터, 모델 크기, 계산량이라는 요소들은 요리사의 재료, 부엌 기구, 그리고 요리 기술에 해당합니다. 더 많은 투자는 요리사가 더 다양하고 복잡한 요리를 만들 수 있게 해줍니다.
LLM에서의 투자란?
•
데이터 양: LLMs가 훈련되는 데 사용되는 데이터의 양입니다. 더 많은 데이터는 모델이 다양한 언어 패턴과 상황에 대해 학습할 수 있게 하여 그 성능을 향상시킬 수 있습니다.
•
모델 크기: 이는 모델의 '매개변수'의 수를 나타냅니다. 매개변수가 더 많은 모델은 더 복잡한 패턴과 관계를 학습할 수 있지만, 더 많은 컴퓨팅 자원을 요구합니다.
•
훈련에 사용되는 계산량: 이는 모델을 훈련시키는 데 사용되는 컴퓨터 처리 능력을 나타냅니다. 이는 일반적으로 '플롭스(FLOPs)'로 측정되며, 더 많은 계산량은 일반적으로 모델의 학습 능력을 향상시킵니다.
그러나 이러한 '요리'에는 한계가 있습니다. LLMs가 만드는 '요리'는 때때로 예상치 못한 맛을 낼 수 있으며, 잘못된 '재료'를 사용할 수도 있습니다. 이는 요리사가 항상 완벽한 요리를 만들 수 없는 것과 같습니다.
LLMs는 언어라는 재료로 맛있는 요리를 만드는 요리사와 같습니다. 이들의 능력은 풍부한 '투자'의 결과이며, 'autocomplete' 기능을 통해 언어의 다양한 맛을 탐색합니다. 하지만 이러한 요리에는 여전히 개선의 여지가 있으며, 요리사인 LLMs가 더 나은 요리를 만들기 위해 지속적으로 발전해야 합니다. 이러한 이해를 바탕으로, LLMs의 미래는 더욱 풍부하고 정교한 언어의 요리를 선사할 것으로 기대됩니다.
'haebom' 구독하기
사이트를 구독하면 새 포스트 등 최신 업데이트를 알림과 메일로 가장 먼저 받아보실 수 있습니다.
Slashpage에 가입하고 'haebom'을 구독하세요!
Slashpage에 가입하고 'haebom'을 구독하세요!