TinyCeNN-LM: Quality-Gated Conversion of Pretrained Attention with CeNN-Inspired Cellular-Recurrent Layers
작성자
카테고리
Empty
저자
Kabeh Mohsenzadegan, Vahid Tavakkoli, Kyandoghere Kyamakya
💡 개요
본 연구는 사전 학습된 언어 모델에서 어텐션 메커니즘을 호환성 문제를 야기하지 않고 대체하기 위해 CeNN(Cellular Neural Network)에서 영감을 받은 셀룰러 순환 계층을 활용한 '품질 기반 변환(quality-gated post-training conversion)' 프레임워크인 TinyCeNN-LM을 제안합니다. 이 프레임워크는 국소 처리, 압축된 순환 메모리, 라우팅, 융합 및 수락/롤백 검증을 포함합니다. 실험 결과, 일부 계층은 품질 기준을 만족하여 성공적으로 변환되었으며, 다른 계층은 표현 충실도 문제로 거부되었습니다.
🔑 시사점 및 한계
•
사전 학습된 언어 모델의 어텐션 메커니즘을 호환성 문제 없이 대체할 수 있는 품질 기반 변환 프레임워크를 제시했습니다.
•
CeNN 기반 셀룰러 순환 계층을 통해 메모리 효율성을 높이고 Perplexity를 안정적으로 유지하면서도 성능 저하를 최소화할 수 있음을 보여주었습니다.
•
제안된 변환 방식은 모델의 모든 어텐션 계층을 보편적으로 대체하는 것이 아니라, 품질 기준에 따라 보수적으로 적용하는 것이 바람직함을 시사합니다.
•
Downstream 태스크에서의 정확도가 28.5%~32.0% 수준으로, 향후 더욱 향상된 변환 기법 및 다양한 다운스트림 태스크에서의 성능 검증이 필요합니다.