본 논문은 지식 베이스에서 관련 오디오-텍스트 쌍을 통합하여 오디오 캡션 생성을 개선하는 검색 증강 생성(Retrieval-augmented generation) 방법을 제안합니다. 기존 방법들은 단일 모드(unimodal) 오디오 입력에만 의존하는 반면, 본 논문에서는 입력 오디오에 대한 텍스트 설명을 생성하여 다중 모드 질의(multimodal querying)를 가능하게 하는 생성 지원 다중 모드 질의(Generation-Assisted Multimodal Querying)를 제시합니다. 이는 질의 모드와 지식 베이스의 오디오-텍스트 구조를 일치시켜 더 효과적인 검색을 가능하게 합니다. 또한, 오디오-텍스트 쌍의 수를 점진적으로 증가시키는 새로운 점진적 학습 전략을 도입하여 학습 과정을 향상시킵니다. AudioCaps, Clotho, Auto-ACD 벤치마크에서 최첨단 결과를 달성함을 실험적으로 보여줍니다.
