Flexible Agent Alignment with Goal Inference from Open-Ended Dialog

작성자

Haebom

카테고리

Empty

저자

Rachel Ma, Jingyi Qu, Andreea Bobu, Dylan Hadfield-Menell

💡 개요

본 논문은 LLM 기반 에이전트가 사용자의 명시되지 않고 진화하는 선호도를 이해하고 따르도록 돕는 "Open-Universe Assistance Games (OU-AGs)"라는 새로운 프레임워크를 제안합니다. 복잡한 상호작용 속에서 사용자의 의도를 정확하게 파악하는 데 어려움을 겪는 기존 LLM 에이전트의 한계를 극복하고자, 자연어 목표에 대한 동적으로 업데이트되는 확률 분포로 인간 선호도를 모델링하는 접근 방식을 사용합니다. 이를 위해, 상호작용 중에 후보 목표를 추출하고 순위를 매기는 데이터 효율적인 온라인 방법인 GOOD을 개발하여, 명확하고 불확실성을 고려한 선호도 표현을 가능하게 하고 사용자 의도와의 정렬을 개선합니다.

🔑 시사점 및 한계

•

동적이고 불확실한 인간 선호도 모델링: 기존의 고정된 선호도 가정에서 벗어나, 대화 중에 변화하고 명확하지 않은 인간의 목표를 동적으로 추론하고 표현할 수 있습니다.

•

데이터 효율적인 온라인 학습: 대규모 오프라인 데이터셋 없이도, LLM 시뮬레이션 사용자 기반의 확률적 추론을 통해 목표를 추출하고 사용자 의도와의 정렬을 개선합니다.

•

다양한 도메인에서의 적용 가능성: 식료품 쇼핑, 로봇 제어, 코딩 등 다양한 텍스트 기반 도메인에서 효과를 입증하여 일반화 가능성을 보여줍니다.

•

LLM 시뮬레이션 사용자의 한계: 실제 인간 사용자의 복잡하고 예측 불가능한 행동을 완벽하게 모사하는 데 한계가 있을 수 있으며, 이는 GOOD의 성능에 영향을 줄 수 있습니다.

PDF 보기

Made with Slashpage