본 논문은 역할극 에이전트(RPAs)가 역할극 지식과 상충하는 어려운 질문에 적절히 대응하는 데 어려움을 겪는다는 문제를 다룬다. 연구진은 상황 지식 충돌 요청, 매개변수 지식 충돌 요청, 비충돌 요청을 포함하는 평가 벤치마크를 개발하여 RPA의 충돌 식별 및 적절한 거부 능력을 평가하였다. 실험 결과, 대부분의 RPA가 다양한 충돌 요청에 대해 성능 차이를 보이는 것을 확인하고, 모델의 전달 표현 내에 거부 영역과 직접 응답 영역이 존재함을 밝혔다. 이러한 분석 결과를 바탕으로, 충돌 요청을 거부 영역으로 이동시켜 모델의 거부 정확도를 향상시키는 경량 표현 편집 방법을 제시하고, 그 효과를 실험적으로 검증하였다.
시사점, 한계점
•
시사점:
◦
역할극 에이전트(RPAs)의 충돌 요청 처리 능력에 대한 심층적인 분석 및 평가 방법 제시.
◦
RPA의 거부/응답 행동을 결정하는 모델 내부 표현의 특징(거부 영역, 직접 응답 영역) 발견.
