QnA

프롬프트와 프롬프트 엔지니어링 관련 질문을 위한 공간입니다.
- 패스트 캠퍼스 온/오프라인 프롬프트 엔지니어링 강의
- 책 <프롬프트 엔지니어의 업무일지>
자유롭게 물어봐주시고 의견 나누어 주세요 : )
Publish now
Loading...
M
MS Lee
M
👀
1
징
징니
징
1
👍
징
징니
징
2
👍
1
수
수연신
수
징
4
👍
윤
윤이
윤
2
👍
J
Jerzy Kukuczka
J
1
👍
얼
얼음 같은 파랑 비
얼
1
👍
M
MS Lee
M
2
👍
M
MS Lee
M
T
활
2
👍
1
J
Jerzy Kukuczka
J
T
7
👍
1
이
이계홍
이
T
2
👍
1
불
불안한 분홍 태양
불
👍
1
숨
숨겨진 터쿼이즈 종이
숨
1
👍
이
이경원
이
1
👍
숨
숨겨진 터쿼이즈 종이
숨
1
👍
향
향기로운 라벤더 야생화
향
1
🍀
1
향
향기로운 라벤더 야생화
향
2
🍀
2
가
가을 청록 목소리
가
T
2
🍀
1
얼
얼음 같은 파랑 비
얼
👍
2
시
시원한 진홍 눈
시
1
👍
1
🍀
2
건
건조한 하늘색 강
건
1
🍀
1
어
어두운 베이지 산들바람
어
2
☘️
1
어
어두운 베이지 산들바람
어
1
☘️
1
이
이성운
이
1
🍀
1
섬
섬세한 갈색 바람
섬
어
3
🍀
1
가
가을 청록 목소리
가
2
🍀
1
레
레리삐
레
1
☘️
1
어
어두운 베이지 산들바람
어
1
☘️
1
Share
장
장찬모
Category
Empty
Participants
장
Activity
오프라인 3기 2주차 강의 질문입니다. - (3)

LLM이 한국어에 대해 토크나이징 과정을 잘 처리하는지?

이미지를 보면
한국어에서는 음절, 형태소, 단어 등 다양한 기준으로 토크나이징 과정을 거치게 되는데
LLM이 음절, 형태소, 단어 등 다양한 기준으로 토크나이징 과정을 거치게 되면
같은 질문을 여러번 수행했을때 토크나이징 기준이 달라질 확률이 높은데 하나의 기준을 정하는 방법이 있는지 궁금합니다.
2
👍
Sujin_Kang
찬모님, 질문에서 하나의 기준이라는 것은
제가 프롬프트를 제작할 때, 단어를 고르는 기준을 물어보는 걸까요? ^^
장
장찬모
@Sujin_Kang 안녕하세요. 박사님,

저희가 프롬프트 제작할때 단어를 고르는 기준이 아닌
LLM이 토크나이징 할 때의 기준을 저희가 지정할 수 있냐가 더 적합한 질문인것 같습니다.
혼란을 드려 죄송합니다.

See latest comments