#AI #LLM - - ai-newsbits

Jerry

Apr 22, 2024Apr 22, 2024

#AI #LLM

Llama 3 토크나이저를 웹에서 사용해보기

•

토크나이저는 Llama 3에서의 주요 변경사항 중 하나

•

토큰 수가 32K에서 128K로 증가

🔗https://belladoreai.github.io/llama3-tokenizer-js/example-demo/build/

llama-tokenizer-js playground

Web site created using create-react-app

belladoreai.github.io