현재의 대규모 오디오 언어 모델(LALMs)은 텍스트 대규모 언어 모델(LLMs)을 일반적인 음향 이해 능력으로 확장하지만, 동일한 의도의 서로 다른 지침이 극적으로 다른 결과를 초래하는 프롬프트 민감성으로 어려움을 겪습니다. 이 연구에서는 LALMs의 디코더 전용 LLM 백본에서 일부 어텐션 헤드를 마스킹하여 지시 없이 특정 음향 작업 기능을 트리거하는 AHAMask를 제안합니다. 이러한 마스크는 LLM 백본의 어텐션 헤드 수와 동일한 수의 학습 가능한 파라미터를 가진 LALM을 학습하여 효율적으로 얻습니다. 실험을 통해 이러한 선택적 어텐션 헤드 마스크를 적용하면 단일 또는 복합 작업에서 지침을 사용하는 것과 비교하여 동등하거나 더 나은 성능을 달성할 수 있음을 보여줍니다. LALMs에 대한 신뢰할 수 있는 음향 작업 사양을 달성하는 것 외에도, 이는 LALMs가 어텐션 헤드에서 특정 "기능적 경로"를 나타냄을 보여줍니다.
시사점, 한계점
•
시사점:
◦
AHAMask는 프롬프트 없이 특정 음향 작업 기능을 수행하여 LALMs의 프롬프트 민감성 문제를 해결합니다.
