Yufan Zhuang, Xiaodong Yu, Jialian Wu, Ximeng Sun, Ze Wang, Jiang Liu, Yusheng Su, Jingbo Shang, Zicheng Liu, Emad Barsoum
개요
본 논문은 장문의 맥락을 이해하고 복잡한 질문에 답하는 대형 언어 모델(LLM)의 한계를 해결하기 위해, Agentic Long-Context Understanding (AgenticLU) 프레임워크를 제안합니다. AgenticLU는 목표 지향적인 자기 질문 생성과 맥락 기반 정보 검색을 에이전트 기반 워크플로우에 통합하여 LLM의 이해도를 향상시킵니다. 핵심 구성 요소인 Chain-of-Clarifications (CoC)는 모델이 자체적으로 생성한 질문을 통해 이해도를 점진적으로 높이고, 맥락 정보를 바탕으로 답을 도출합니다. 트리 탐색 방식의 추론을 통해 최대 3단계 깊이, 8개의 분기 요소로 NarrativeQA에서 97.8%의 답변 재현율을 달성했습니다. 효율적인 훈련을 위해 CoC 워크플로우에서 얻은 선호도 쌍을 활용하여 두 단계의 미세 조정(지도 학습 및 직접적 선호도 최적화)을 수행합니다. 결과적으로 AgenticLU는 단일 추론 단계에서 효과적이고 효율적으로 질문을 명확히 하고 관련 맥락을 검색합니다. 7가지 장문 맥락 작업에 대한 광범위한 실험 결과, AgenticLU는 최첨단 프롬프트 방법과 특수 장문 맥락 LLM을 상당히 능가하며, 맥락 길이가 증가해도 일관된 성능을 유지하면서 강력한 다단계 추론을 달성합니다.
시사점, 한계점
•
시사점:
◦
장문 맥락 질문 응답에 대한 새로운 접근 방식인 AgenticLU 프레임워크 제시.
◦
자기 질문 생성과 맥락 기반 정보 검색을 통합하여 LLM의 이해도 향상.
◦
트리 탐색 기반 추론으로 높은 정확도 달성 (NarrativeQA에서 97.8% 재현율).
◦
효율적인 두 단계 미세 조정 방법을 통해 단일 추론 단계에서 효과적인 질문 명확화 및 맥락 검색 가능.
◦
최첨단 방법 대비 우수한 성능 및 맥락 길이 증가에 대한 견고한 성능 유지.
◦
다단계 추론 능력 향상.
•
한계점:
◦
NarrativeQA 데이터셋에 대한 의존도가 높을 수 있음. 다양한 데이터셋에 대한 추가적인 실험이 필요.
