본 논문은 대규모 언어 모델(LLM)과 음성 표현을 통합하여 원활한 다중 모달 처리 및 음성 이해를 가능하게 하는 새로운 접근 방식을 제시합니다. 자기 지도 학습 기반 음성 표현과 지시어 미세 조정된 LLM을 결합하여 음성-텍스트 변환을 수행하는 방법을 제안합니다. 영어 음성 데이터를 사용하여 추출된 음성 특징과 지시어 미세 조정된 LLM을 정렬하는 모달리티 어댑터를 활용합니다. 실험 결과, 이 방법은 입력 음성의 의미 내용을 효과적으로 보존하고 자기 지도 학습 기반 음성 모델과 지시어 미세 조정된 LLM 간의 효과적인 연결 역할을 수행하여 다양한 음성 이해 응용 프로그램에 유망한 접근 방식을 제공함을 보여줍니다.
