Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

From Guessing to Asking: An Approach to Resolving the Persona Knowledge Gap in LLMs during Multi-Turn Conversations

Created by
  • Haebom
Category
Empty

저자

Sarvesh Baskar, Tanmay Tulsidas Verelakar, Srinivasan Parthasarathy, Manas Gaur

개요

본 논문은 대화의 일관성을 유지하면서 사용자 특징 정보에 적응하는 데 어려움을 겪는 대규모 언어 모델(LLM)의 문제점을 다룹니다. 모델의 내부 이해와 일관성 있고 개인화된 대화에 필요한 지식 간의 차이를 'persona knowledge gap'으로 정의하고, 이를 해결하기 위한 새로운 프레임워크인 Conversation Preference Elicitation and Recommendation (CPER)을 제시합니다. CPER은 문맥 이해 모듈, 동적 피드백 모듈, Persona 기반 응답 생성 모듈의 세 가지 모듈로 구성되어 있으며, 내재적 불확실성 정량화 및 피드백 기반 개선을 통해 persona knowledge gap을 동적으로 감지하고 해결합니다. CCPE-M(영화 추천) 및 ESConv(정신 건강 지원) 두 개의 실제 데이터셋을 사용하여 평가한 결과, A/B 테스트에서 기준 모델보다 CPER의 응답을 선호하는 비율이 CCPE-M에서 42%, ESConv에서 27% 더 높았습니다. 특히 12턴 이상의 긴 대화에서 문맥적 관련성과 일관성 유지를 위해 CPER의 응답을 선호하는 것으로 나타났습니다.

시사점, 한계점

시사점:
persona knowledge gap을 명확히 정의하고 이를 해결하기 위한 효과적인 프레임워크(CPER)를 제시.
내재적 불확실성 정량화 및 피드백 기반 개선을 통해 모델의 persona 이해도 향상.
실제 데이터셋을 이용한 실험을 통해 CPER의 효과성 검증 (A/B 테스트 결과 기준 모델 대비 27~42% 향상).
특히 긴 대화에서 문맥적 관련성 및 일관성 향상에 기여.
한계점:
제시된 두 개의 데이터셋 외 다른 도메인이나 유형의 대화에 대한 일반화 가능성에 대한 추가 연구 필요.
CPER의 계산 비용 및 효율성에 대한 분석 필요.
더욱 다양하고 포괄적인 평가 지표를 활용한 추가 연구 필요.
모델의 불확실성 측정 및 정량화 방법의 개선 필요.
👍