Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LiSTEN: Learning Soft Token Embeddings for Neural Audio LLMs

Created by
  • Haebom

저자

Pooneh Mousavi, Shubham Gupta, Cem Subakan, Mirco Ravanelli

개요

LiSTEN(Learning Soft Token Embeddings for Neural Audio LLMs)은 대규모 언어 모델(LLM)을 음성 및 오디오 작업에 적용하기 위한 프레임워크입니다. 다양한 음향 환경과 작업 변화에도 불구하고, 학습 가능한 키-값 쌍을 사용하는 동적 프롬프트 선택 전략을 통해 일반적인 지식과 작업별 지식의 균형을 맞추고 다중 작업 설정에서 과적합을 방지합니다. 대규모 ASR 또는 캡션 데이터셋에 대한 의존성을 줄이고, 적은 학습 가능한 매개변수로 경쟁력 있는 성능을 달성하며, 단일 단계 프로세스를 사용하여 훈련을 간소화합니다. 또한, 선택된 프롬프트의 다양성과 겹침을 분석하여 해석성을 향상시킵니다.

시사점, 한계점

시사점:
LLM을 음성 및 오디오 작업에 효과적으로 적용하는 새로운 프레임워크 제시.
대규모 ASR 또는 캡션 데이터셋에 대한 의존성 감소.
적은 학습 가능한 매개변수로 경쟁력 있는 성능 달성.
단일 단계 훈련 프로세스를 통한 훈련 간소화.
프롬프트 분석을 통한 해석성 향상.
한계점:
본 논문에서는 LiSTEN의 구체적인 성능 수치나 비교 대상 모델과의 상세한 비교 결과가 제시되지 않음.
다양한 음향 환경 및 작업 변화에 대한 실험적 검증의 범위 및 세부 내용이 부족함.
LiSTEN 프레임워크의 일반화 성능 및 확장성에 대한 추가적인 연구가 필요함.
👍