본 논문은 텍스트 전용 말뭉치로 사전 훈련된 언어 모델이 청각 상식 지식을 요구하는 작업에서 어려움을 겪는 문제를 해결하기 위해, 외부 오디오 데이터베이스에서 지식을 검색하는 기존 방식의 한계점을 극복하는 새로운 접근 방식인 "Imagine to Hear"를 제안합니다. Imagine to Hear는 생성 모델을 사용하여 청각 지식을 동적으로 생성하는 프레임워크로, 프롬프트에서 여러 오디오 관련 텍스트 구간을 감지하고 해당 청각 지식을 생성합니다. CLAP 기반 거절 샘플러와 언어-오디오 융합 모듈을 포함한 여러 메커니즘을 통해 효율적으로 여러 청각 지식을 처리합니다. 외부 데이터베이스에 의존하지 않고도 AuditoryBench에서 최첨단 성능을 달성함으로써 생성 기반 접근 방식의 효과를 보여줍니다.
