본 논문은 매개변수 효율적인 미세조정(PET)의 추론 속도와 훈련 효율을 향상시키는 새로운 방법인 Faster Parameter-Efficient Tuning (FPET)을 제안합니다. 기존 PET 방법들은 대규모 기반 모델의 추론 지연 시간을 상속받고 추가 모듈로 인한 계산 오버헤드가 발생하는 문제점이 있습니다. FPET는 PET에 맞춰 설계된 플러그 앤 플레이 토큰 중복 감소 모듈을 도입하여, 자기 주의 계층의 토큰을 정제하고, 완전 미분 가능한 토큰 병합 전략을 통해 토큰을 제거합니다. 이를 통해 기존 PET 방법들과 비슷한 성능을 유지하면서 더 빠른 추론 속도와 높은 메모리 효율을 달성합니다.
