Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs
Created by
Haebom
Category
Empty
저자
Reem Gody, Mohamed Abdelghaffar, Mohammed Jabreel, Ahmed Tawfik
개요
본 논문은 대규모 언어 모델(LLM)의 높은 자원 소모 문제를 해결하기 위해, 대화 내용의 특정 의도(intent)에 따라 LLM 처리 대상을 필터링하는 비용 효율적인 방법을 제안합니다. 다양한 전략을 통해 다중 참여자 대화 데이터셋을 구축하고, 해당 데이터셋을 이용하여 MobileBERT 모델을 미세 조정하여 다중 레이블 의도 분류 모델을 개발합니다. 이 모델은 효율성과 성능 간의 균형을 이루어, 의도에 따라 관련 대화 내용만 LLM에 전달하여 처리 비용을 크게 줄입니다.
시사점, 한계점
•
시사점:
◦
LLM 처리 비용을 효과적으로 절감할 수 있는 새로운 방법 제시.
◦
MobileBERT 기반의 경량화된 의도 분류 모델을 통해 제한된 환경에서도 LLM 활용 가능성 확대.
