Share
Sign In
언어모델의 여러 요소 이해하기
1. Token이 무엇인가요?
2. Context Window가 무엇인가요?
Context Window(Size)는 한번에 모델에 입력할 수 있는 토큰의 수를 의미합니다. 최근 모델의 입력 크기는 점점 늘어나, 현재는 128,000개의 토큰을 한번에 처리할 수 있습니다.
어떤 모델은 작은 context window를 가지고 있고, 어떤 모델은 큰 context window를 가지고 있습니다. 또한, 출력의 길이도 제한되어 있습니다.
실제 서비스 개발 혹은 '엔지니어링'을 한다면, context window size를 확인하고, 본인 서비스에 맞는 모델을 적절하게 고를 수 있어야 합니다.
1.
p value
2.
temparature