해봄의 아카이브
각 LLM 비용 정리
Haebom
영어 기준으로 토큰은 대략 다음과 같습니다. 한국어로 하면 3~4배로 곱하면 됩니다. 한국어는 현재 토큰이라는 구분형태로 하면 효율이 안좋긴 합니다.
토큰 | 언어 |
1 | 약 4~10글자 |
30 | 약 1~2 문장 |
100 | 약 75 단어 |
2048 | 약 1500 단어 |
토큰은 다음 웹사이트에서 편하게 계산해 볼 수 있습니다. 아래에서 예시로 든 100만 토큰은 약 책 5권 정도라고 생각하시면 편합니다.
각 회사의 공식 페이지에서 언급되는 비용입니다.
•
OpenAI GPT-4 Turbo: 1백만 토큰당 $10에서 $30의 비용이 발생합니다.
•
OpenAI GPT-3.5 Turbo: 1백만 토큰당 $1에서 $2 사이의 비용이 발생합니다.
•
Anthropic Claude 2.1: 1백만 토큰당 $11에서 $32.70의 비용이 발생합니다.
•
Anthropic Claude Instant: 1백만 토큰당 $1.60에서 $5.50 사이의 비용이 발생합니다.
개인적으로 돌리고 있는 Llama 2 70B, 13B의 기준은 다음과 같습니다. (CUDA, A100 기준)
•
Llama 2 13B: 1백만 토큰당 $0.7에서 $1사이의 비용이 발생합니다.
•
Llama 2 70B: 1백만 토큰당 $1에서 $2 사이의 비용을 발생합니다.
MacStudio에서 CPU로 돌리는 경우는 아직 비용측정을 자세히 해보진 않았습니다. 다만 Llama2가 확실히 경제적이긴 합니다. 추론 능력에 대해선 GPT-4가 압도적 성능을 보여주지만 일반적 생성이나 인텐트 분류 정도는 충분히 가능해 보입니다. 7B는 미스트랄을 실험해 볼까 생각해주는데 뭔가 흥미가 안드네요.
좀 궁금한 것은 국내 모델들 CLOVA, 믿음, 액사원 정도는 어느 정도인지 궁금합니다. 보통 우리가 클라우드를 자체적으로 구축하면 초기 비용을 제외하고 30% 이상의 비용 절감을 경험하는데 국내는 어떤지 궁금합니다. 편하게 연락 주시면 솔직히 터놓고 이야기 해보면 좋을 것 같습니다. haebom@kakao.com
Subscribe to 'haebom'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to 'haebom'!
Join Slashpage and subscribe to 'haebom'!
1
Haebom
H100은 3배 싸게 고효율로 돌릴 수 있다는데 할당을 못받아서 못써봤습니다...
See latest comments