Less Is More: Reducing Token Counts Without Compromising Performance

작성자

Haebom

카테고리

Empty

저자

Gyeongje Cho, Yeonkyoung So, Sangmin Lee, Jaejin Lee

💡 개요

본 연구는 대규모 언어 모델의 추론 효율성을 저해하는 과도한 토큰화를 개선하기 위해 제안된 Thunder-Tok라는 새로운 서브워드 토크나이저를 소개합니다. Thunder-Tok는 기존 BPE 토크나이저 대비 약 25%의 영어 및 9%의 한국어 불필요 토큰 감소를 달성하면서도, 다운스트림 성능 저하 없이 효율성을 향상시킵니다. 이는 대규모 코퍼스에서 추출한 시드 어휘집을 구조적으로 불완전한 후보들을 제거하고, 확률 기반 점수를 통해 최적의 토큰셋을 선별함으로써 가능해졌습니다.

🔑 시사점 및 한계

•

대규모 언어 모델의 추론 효율성을 토큰 수 감소를 통해 효과적으로 개선할 수 있습니다.

•

성능 저하 없이 토큰화 효율을 높이는 Thunder-Tok 방법론은 향후 LLM 개발에 중요한 참고 자료가 될 것입니다.

•

한국어 토큰 감소율이 영어 대비 낮은 점에 대한 추가적인 분석 및 개선 연구가 필요합니다.

PDF 보기

Made with Slashpage