Sign In

Nes2Net: A Lightweight Nested Architecture for Foundation Model Driven Speech Anti-spoofing

Created by
  • Haebom
Category
Empty

저자

Tianchi Liu, Duc-Tuan Truong, Rohan Kumar Das, Kong Aik Lee, Haizhou Li

개요

본 논문은 음성 표현 능력이 뛰어난 Speech foundation model의 고차원 출력 특징과 후방 작업 모델 간의 불일치를 해결하기 위해, 차원 축소 레이어 없이 고차원 특징을 직접 처리하도록 설계된 경량 백엔드 아키텍처인 Nested Res2Net(Nes2Net)을 제안합니다. Nes2Net은 다중 스케일 특징 추출, 특징 상호 작용 개선, 고차원 정보 유지를 통해 성능 향상을 이끌어냅니다. CtrSVDD 데이터셋에서 22% 성능 향상 및 87% 백엔드 계산 비용 절감을 보였으며, ASVspoof 2021, ASVspoof 5, PartialSpoof, In-the-Wild 등 다양한 데이터셋에서 우수한 견고성과 일반화 능력을 입증했습니다.

시사점, 한계점

시사점:
Nes2Net은 차원 축소 레이어 없이 고차원 특징을 직접 처리하여 파라미터 오버헤드, 계산 비용을 줄이고 정보 손실 위험을 방지합니다.
다중 스케일 특징 추출, 특징 상호 작용 개선을 통해 음성 관련 작업의 성능을 향상시켰습니다.
다양한 데이터셋에서 우수한 성능을 보여, 일반화 능력과 견고성을 입증했습니다.
한계점:
논문에서 구체적인 한계점에 대한 언급은 없습니다.
👍