Accelerating Bangla NLP Tasks with Automatic Mixed Precision: Resource-Efficient Training Preserving Model Efficacy
Created by
Haebom
Category
Empty
저자
Md Mehrab Hossain Opi, Sumaiya Khan, Moshammad Farzana Rahman
AMP를 활용한 벵골어 자연어 처리 모델 훈련의 효율성 증대 연구
개요
본 연구는 벵골어 자연어 처리 (NLP) 모델 훈련 시, 자동 혼합 정밀도 (AMP) 훈련 기법을 활용하여 연산 효율성을 향상시키는 방안을 탐구한다. 벵골어 NLP 개발은 고성능 하드웨어 접근의 어려움으로 제약이 따르므로, AMP를 통해 모델 성능 저하 없이 GPU 메모리 요구량을 줄이고 훈련 속도를 높이고자 한다. 감성 분석, 개체명 인식, 오류 분류, 질의 응답 등 4가지 벵골어 NLP 태스크에 대해 BanglaBERT, BanglishBERT, XLM-R, mBERT 등 4가지 변환기 기반 모델을 대상으로 실험을 진행했다.
시사점, 한계점
•
AMP는 훈련 속도를 평균 44.5% 향상시키고, 메모리 사용량을 17.6% 감소시켰다.
•
모델 성능 (F-1 score)은 기존 풀 정밀도 방식 대비 99.7% 수준으로 유지되었다.
•
AMP는 하드웨어 제약이 있는 환경에서 벵골어 NLP 발전을 위한 접근성을 높이는 잠재력을 보여주었다.
•
연구는 벵골어 NLP에 국한되어 다른 언어 또는 더 복잡한 모델에 대한 일반화는 추가적인 연구가 필요하다.
