Retrieval-Enhanced Few-Shot Prompting for Speech Event Extraction
Created by
- Haebom
Category
Empty
저자
Mate Gedeon
개요
본 논문은 자동 음성 인식(ASR)과 자연어 처리(NLP)의 교차점에 있는 어려운 과제인 음성 이벤트 추출(SpeechEE)에 대해 다룹니다. 고성능 ASR과 의미 검색으로 강화된 대규모 언어 모델(LLM) 프롬프팅을 통합한 모듈식 파이프라인 기반 SpeechEE 프레임워크를 제시합니다. 규칙 기반, BERT 기반 및 LLM 기반 모델을 포함하는 하이브리드 필터링 메커니즘을 사용하여 이벤트가 포함될 가능성이 높은 음성 세그먼트를 분류하고, 의미 유사성 검색을 통해 동적으로 풍부해진 몇 번의 시도만으로 LLM 프롬프팅을 사용하여 이벤트 트리거를 식별하고 해당 인수를 추출합니다. Llama3-8B, GPT-4o-mini, o1-mini 등 여러 LLM을 사용하여 파이프라인을 평가했으며, o1-mini가 트리거 분류에서 63.3% F1, 인수 분류에서 27.8% F1을 달성하여 기존 벤치마크를 능가하는 성능 향상을 보였습니다. 검색으로 강화된 LLM을 통해 파이프라인 방식은 해석 가능성과 모듈성을 유지하면서 종단 간 시스템과 경쟁하거나 능가할 수 있음을 보여줍니다. LLM 기반 이벤트 추출에 대한 실질적인 통찰력을 제공하고 텍스트 및 음향 기능을 결합한 향후 하이브리드 모델에 대한 경로를 제시합니다.
시사점, 한계점
•
시사점:
◦
검색으로 강화된 LLM을 사용한 파이프라인 기반 SpeechEE 프레임워크의 효과성을 입증.
◦
o1-mini LLM을 사용하여 기존 벤치마크를 능가하는 성능 달성.
◦
해석 가능성과 모듈성을 유지하면서 종단 간 시스템과 경쟁 가능성 제시.
◦
LLM 기반 이벤트 추출에 대한 실질적인 통찰력 제공.
◦
텍스트 및 음향 기능을 결합한 하이브리드 모델 개발 가능성 제시.
•
한계점:
◦
특정 LLM(o1-mini)에 대한 의존성. 다른 LLM의 성능 비교 분석이 추가적으로 필요.
◦
하이브리드 필터링 메커니즘의 세부적인 설명 부족. 각 모델의 기여도에 대한 자세한 분석 필요.
◦
인수 분류의 F1 score가 트리거 분류에 비해 상대적으로 낮음. 인수 추출 성능 향상을 위한 추가 연구 필요.
◦
다양한 음성 데이터셋에 대한 일반화 성능 평가가 부족.
