방글라데시 수화(BdSL)는 170만 명이 넘는 청각·언어 장애인이 존재함에도 불구하고 연구가 미흡한 분야이다. 특히, 방글라데시어 텍스트-글로스 번역 작업에 대한 연구는 전무하다. 본 연구는 이러한 간극을 해소하기 위해, 독일어 및 미국 수화(ASL)에서 사용되는 문법 규칙 기반 글로스 생성에서 영감을 얻어 BdSL에 적용 가능한 데이터셋을 구축하였다. LLM을 활용한 합성 데이터 생성과 역번역, 텍스트 생성을 통해 데이터 증강을 수행하였다. 구축된 데이터셋을 이용하여 사전 훈련된 mBART-50 및 mBERT-multiclass-uncased 모델을 미세 조정하고, GRU, RNN, 다중 헤드 어텐션을 갖는 새로운 seq-to-seq 모델을 훈련하였다. 그 결과, Facebook의 사전 훈련된 다국어 모델인 mBART-50을 미세 조정했을 때 상당히 높은 성능(ScareBLEU=79.53)을 달성하였다. mBART의 높은 성능 원인을 분석한 결과, mBART가 셔플링된 마스크된 텍스트 데이터로 훈련되었다는 점과 글로스 형태의 셔플링 특성에 주목하여, mBART가 본질적으로 텍스트-글로스 작업에 적합하다는 가설을 세웠다. 이 가설을 검증하기 위해 PHOENIX-14T 벤치마크에서 mBART-50을 훈련하고 기존 연구와 비교 평가한 결과, 모든 6개 지표(ScareBLEU = 63.89, BLEU-1 = 55.14, BLEU-2 = 38.07, BLEU-3 = 27.13, BLEU-4 = 20.68, COMET = 0.624)에서 최첨단 성능을 달성하였다. 본 연구는 mBART 모델을 사용한 텍스트-글로스 작업에 대한 새로운 패러다임을 제시하며, BdSL 텍스트-글로스 작업에서 규칙 기반 합성 데이터셋의 효용성을 보여준다.
