본 논문은 에지 디바이스에서 작동하는 대규모 언어 모델(LLM)과 자동 음성 인식(ASR)의 조합(edge ASR-LLM)을 활용하여 개인화된 음성 기반 상호 작용을 가능하게 하는 개인 비서 시스템을 제안한다. 기존의 ASR-LLM 모델은 고성능 컴퓨팅 환경에서 훈련되고 모델 크기가 커 에지 디바이스 배포가 어렵다는 문제점을 지닌다. 본 논문에서는 개별적으로 ASR 또는 LLM을 미세 조정하는 대신, 에지 디바이스에서 효율적인 교차 모달 정렬을 위한 자원 효율적인 프레임워크를 제시한다. 이 프레임워크는 NVIDIA Jetson Orin (8GB RAM)과 같은 제한된 자원의 디바이스에서도 효율적인 ASR-LLM 정렬을 가능하게 하며, 훈련 시간을 50배 단축하면서 정렬 품질을 50% 이상 향상시킨다. 본 연구는 제한된 자원의 에지 디바이스에서 효율적인 ASR-LLM 정렬을 연구한 최초의 연구이다.
시사점, 한계점
•
시사점:
◦
에지 디바이스에서 효율적인 개인화된 음성 기반 상호 작용을 위한 ASR-LLM 프레임워크 제시.
◦
제한된 자원 환경에서의 훈련 시간 단축 및 정렬 품질 향상 (50배 속도 향상, 50% 이상 품질 향상).
◦
개인화된 음성 입력에 대한 효과적인 처리 가능성 제시.
◦
에지 디바이스에서의 교차 모달 정렬 연구에 대한 새로운 가능성 제시.
•
한계점:
◦
NVIDIA Jetson Orin (8GB RAM)과 같은 특정 에지 디바이스에 대한 결과만 제시되어 다른 하드웨어 환경으로의 일반화 가능성에 대한 검증 필요.
