본 논문은 에지 디바이스 상에서 작동하는 대규모 언어 모델(LLM)과 자동 음성 인식(ASR)의 결합(edge ASR-LLM)을 통해 개인화된 오디오 기반 상호 작용을 가능하게 하는 개인 비서 시스템을 제안한다. 기존의 ASR-LLM 모델은 고성능 컴퓨팅 환경에서 훈련되고 모델 크기가 커 에지 디바이스 배포가 어렵다는 한계를 지닌다. 본 논문은 개별적으로 ASR 또는 LLM을 미세 조정하는 것보다, 에지 디바이스에서 효율적인 개인화된 학습을 위해 ASR과 LLM 간의 크로스-모달 정렬(end-to-end training)이 중요하다고 주장한다. 이를 위해 자원 효율적인 크로스-모달 정렬 프레임워크를 제안하며, NVIDIA Jetson Orin (8GB RAM)과 같은 제한된 자원을 가진 디바이스에서 50배의 훈련 속도 향상과 50% 이상의 정렬 품질 향상을 달성했다고 보고한다.
시사점, 한계점
•
시사점:
◦
에지 디바이스에서 효율적인 ASR-LLM 정렬을 위한 새로운 프레임워크 제시.
◦
제한된 자원 환경에서도 개인화된 오디오 입력에 대한 효과적인 처리 가능성을 입증.
◦
훈련 시간 단축 및 정렬 품질 향상을 통한 실용적인 에지 ASR-LLM 시스템 구축 가능성 제시.
◦
기존 연구에서 다루지 않은 에지 디바이스 상의 효율적인 ASR-LLM 정렬에 대한 최초의 연구.
•
한계점:
◦
제안된 프레임워크의 일반화 성능 및 다양한 에지 디바이스에 대한 적용 가능성에 대한 추가 연구 필요.
