Damage-Aware Bandit Pruning for Vision and Language Transformers
작성자
카테고리
Empty
저자
Salem Ameen, Sunil Vadera
💡 개요
본 논문은 트랜스포머 모델의 구조적 가지치기(pruning) 문제를 해결하기 위해, 손상을 인지하는 다중 슬롯 밴딧(multi-armed bandit) 문제로 정의하고 새로운 접근법을 제안합니다. 제안된 방법론은 제한된 후보 평가 예산 하에서 주의 메커니즘 헤드와 MLP 채널 그룹을 동적으로 선택하여 모델 성능 저하를 최소화합니다. 실험 결과, 제안된 밴딧 기반 가지치기 방법이 기존 방법 대비 언어 및 비전 트랜스포머 모델에서 더 우수한 성능을 보이거나 유사한 성능을 유지함을 입증했습니다.
🔑 시사점 및 한계
•
트랜스포머 모델의 효율적인 구조적 가지치기를 위해 손상 인지 기반의 동적 탐색 전략이 유효함을 보여줍니다.
•
제한된 평가 예산 하에서도 효과적인 단위 선택이 가능하며, 이는 다양한 트랜스포머 아키텍처에 적용될 수 있음을 시사합니다.
•
제안된 방법은 실질적인 속도 향상이나 물리적인 파라미터 압축보다는 기능적인 단위 제거에 초점을 맞추고 있으며, 실제 추론 속도 향상을 위해서는 추가적인 최적화가 필요할 수 있습니다.
•
더 넓은 범위의 모델 아키텍처 및 다양한 작업에 대한 추가적인 검증이 필요합니다.