본 논문은 제한된 자원에서의 효율적인 자연어 처리를 위해, 이진화(Binarization)와 조기 종료(Early Exit, EE) 기법을 통합한 새로운 트랜스포머 모델인 BEExformer를 제안합니다. BEExformer는 이진화 인식 학습(Binarization-Aware Training, BAT)과 선택적 학습 기반의 선택적 학습 망각 네트워크(Selective-Learn Forget Network, SLFN)를 통합하여 모델 크기 감소 및 추론 속도 향상을 달성합니다. BAT는 기울기 계산에 부호와 크기를 모두 고려하여 이진화로 인한 성능 저하를 완화하고, SLFN은 불필요한 정보를 제거하여 문맥 유지를 향상시킵니다. EE 기법은 중간 트랜스포머 블록 간 엔트로피의 감소를 기반으로 하며, 소프트 라우팅 손실 추정을 통해 추론 속도를 높이고 과적합 문제를 해결합니다. 여러 NLP 과제에 대한 광범위한 실험 결과, BEExformer는 성능과 효율성 측면에서 Pareto 최적 성능을 보임을 확인했습니다.
