# Untitled

오프라인 3기 2주차 강의 질문입니다. - (3)

# LLM이 한국어에 대해 토크나이징 과정을 잘 처리하는지? 

이미지를 보면 

**한국어에서는 음절, 형태소, 단어 등 다양한 기준으로 토크나이징 과정**을 거치게 되는데 

LLM이 음절, 형태소, 단어 등 다양한 기준으로 토크나이징 과정을 거치게 되면 

**같은 질문을 여러번 수행했을때 토크나이징 기준이 달라질 확률이 높은데 하나의 기준을 정하는 방법이 있는지 궁금합니다.**

![Image](https://upload.cafenono.com/image/slashpagePost/20250202/020746_fISz1l760sLIjJKhup?q=80&s=1280x180&t=outside&f=webp)

For the site tree, see the [root Markdown](https://slashpage.com/sujin-prompt-engineer.md).