본 논문은 저자원 인도어(Assamese, Bengali, Marathi, Odia, Santali, Manipuri, Sindhi)에서 명명된 개체 인식(NER)을 위한 토큰화 전략을 비교 분석합니다. Byte Pair Encoding(BPE), SentencePiece, 그리고 character-level 토큰화 세 가지 방법을 IndicBERT와 함께 사용하여 내재적 특성(토큰 효율성, OOV 비율, 형태소 보존)과 외재적 성능(파인튜닝 및 제로샷 교차 언어 전이)을 평가합니다. 특히 저자원 언어의 형태론적 복잡성을 고려하여, 각 토큰화 방법의 NER 성능과 일반화 능력을 비교 분석합니다. 실험 결과 SentencePiece가 BPE보다 저자원 인도어 NER에서, 특히 제로샷 교차 언어 설정에서 더 나은 성능을 보임을 보여줍니다.
