AAD-LLM: Neural Attention-Driven Auditory Scene Understanding
Created by
Haebom
저자
Xilin Jiang, Sukru Samet Dindar, Vishal Choudhari, Stephan Bickel, Ashesh Mehta, Guy M McKhann, Daniel Friedman, Adeen Flinker, Nima Mesgarani
개요
본 논문은 청각적 대규모 언어 모델(LLM)이 모든 소리 입력을 청취자의 지각과 무관하게 동등하게 처리하는 한계를 지적하며, 인간의 선택적 청각 지각을 모방하는 새로운 모델을 제시합니다. 청취자의 주의를 추론하기 위해 두개 내 전기뇌파검사(iEEG) 기록을 통합하는 '의도-고려 청각 장면 이해(II-ASU)'와 '청각 주의 주도 LLM(AAD-LLM)'이라는 시스템을 제안합니다. AAD-LLM은 iEEG 데이터를 사용하여 청취자가 주의를 기울이는 화자를 해독하고, 그에 따라 응답을 수정합니다. 다화자 시나리오에서 화자 설명, 음성 전사 및 추출, 질문 응답 작업에 대한 객관적 및 주관적 평가를 통해 청취자의 의도와의 정렬이 향상됨을 보여줍니다. 이는 청취자의 지각이 기계적 청취를 알리는 새로운 패러다임을 제시하며, 청취자 중심의 청각 시스템을 위한 길을 열고 있습니다. 데모와 코드는 제공 링크에서 확인 가능합니다.
시사점, 한계점
•
시사점:
◦
인간의 선택적 청각 지각을 모방하여 기존 청각 LLM의 한계를 극복하는 새로운 모델 제시.
◦
iEEG 데이터를 활용하여 청취자의 주의를 추론하고 모델 응답에 반영하는 새로운 접근 방식 제시.
◦
다양한 작업에서 청취자의 의도와의 정렬 향상을 보여줌으로써 청취자 중심의 청각 시스템 개발 가능성 제시.
◦
데모와 코드 공개를 통한 연구의 투명성 및 재현성 확보.
•
한계점:
◦
iEEG 데이터를 사용하기 때문에 침습적인 방법으로, 일반적인 환경에서의 적용에는 제한이 있음.
◦
iEEG 데이터의 해석 및 주의 추론의 정확도에 대한 추가적인 연구가 필요함.
◦
현재 모델은 특정한 유형의 뇌파 데이터에 의존하며, 다른 유형의 생체 신호나 비침습적인 측정 방법을 활용하는 연구가 필요함.
