본 논문은 대규모 언어 모델(LLM)의 다회차 상호작용 평가 및 향상에 대한 최근 발전을 종합적으로 검토한다. 수학 및 코딩과 같은 다양한 영역의 지시 사항 준수에서 역할극, 의료, 교육, 적대적 탈옥 설정에 이르는 복잡한 대화 참여에 이르기까지 작업별 시나리오에 중점을 두고 장기간 대화에서 맥락, 일관성, 공정성 및 응답성을 유지하는 과제를 체계적으로 조사한다. 다회차 대화 평가의 진화하는 환경을 반영하는 일관된 범주로 현재 벤치마크와 데이터셋을 구성하고, 다회차 설정에서 모델 중심 전략(맥락 학습, 감독 미세 조정, 강화 학습 및 새로운 아키텍처), 외부 통합 접근 방식(메모리 증강, 검색 기반 방법 및 지식 그래프), 공동 상호 작용을 위한 에이전트 기반 기법을 포함한 다양한 향상 방법론을 검토한다. 마지막으로, LLM의 다회차 상호 작용의 강력성과 효과를 더욱 발전시키기 위한 연구의 개방적인 과제와 미래 방향을 논의한다. 관련 자료와 논문은 https://github.com/yubol-cmu/Awesome-Multi-Turn-LLMs에서 확인할 수 있다.
시사점, 한계점
•
시사점:
◦
다회차 LLM 상호작용 평가 및 향상을 위한 포괄적인 검토 제공.
◦
다양한 작업별 시나리오와 향상 방법론(모델 중심, 외부 통합, 에이전트 기반) 제시.
◦
다회차 대화 평가를 위한 벤치마크 및 데이터셋의 체계적인 분류.
◦
미래 연구 방향 제시 및 관련 자료 제공.
•
한계점:
◦
본 논문 자체는 새로운 방법론이나 실험 결과를 제시하지 않고 기존 연구들을 종합적으로 검토하는 데 초점을 맞춤.
◦
빠르게 발전하는 LLM 분야의 특성상, 논문 발표 이후 새로운 연구 결과들이 등장하여 내용의 시의성이 떨어질 가능성 존재.
