카테고리
Empty
작성자
장
작성시각
참여자
장
최근활동
오프라인 3기 2주차 강의 질문입니다. - (3)
LLM이 한국어에 대해 토크나이징 과정을 잘 처리하는지?
이미지를 보면
한국어에서는 음절, 형태소, 단어 등 다양한 기준으로 토크나이징 과정을 거치게 되는데
LLM이 음절, 형태소, 단어 등 다양한 기준으로 토크나이징 과정을 거치게 되면
같은 질문을 여러번 수행했을때 토크나이징 기준이 달라질 확률이 높은데 하나의 기준을 정하는 방법이 있는지 궁금합니다.
