Bridging Context Gaps: Leveraging Coreference Resolution for Long Contextual Understanding
Created by
Haebom
Category
Empty
저자
Yanming Liu, Xinyue Peng, Jiannan Cao, Shi Bo, Yanxin Shen, Tianyu Du, Sheng Cheng, Xun Wang, Jianwei Yin, Xuhong Zhang
개요
본 논문은 긴 문맥을 이해하고 효과적인 질의응답을 수행하는 데 어려움을 겪는 대규모 언어 모델(LLM)의 문제점을 해결하기 위해, 긴 문맥에 맞춘 공참조 해결에 초점을 맞춘 Long Question Coreference Adaptation (LQCA) 방법을 제안한다. LQCA는 하위 문서 내 공참조 해결, 언급 간 거리 계산, 공참조에 대한 대표 언급 정의, 언급 대체를 통한 질문 응답이라는 네 가지 주요 단계를 포함한다. 실험 결과, OpenAI-o1-mini 및 GPT-4o 모델에서 상당한 성능 향상을 보이며, 질의응답에서 문맥 간격을 해소하는 데 공참조 해결을 활용하는 효과를 보여준다. 코드는 공개적으로 제공된다.
시사점, 한계점
•
시사점:
◦
긴 문맥 질의응답에서 LLM의 성능을 향상시키는 효과적인 방법 제시.
◦
공참조 해결을 통해 긴 문맥 이해의 어려움을 완화하는 새로운 접근 방식 제안.
◦
특정 LLM 모델(OpenAI-o1-mini, GPT-4o)에서 성능 향상을 실험적으로 검증.
