DFlow: Diverse Dialogue Flow Simulation with Large Language Models
Created by
- Haebom
Category
Empty
저자
Wanyu Du, Song Feng, James Gung, Lijia Sun, Yi Zhang, Saab Mansour, Yanjun Qi
개요
본 논문은 특정 작업 로직을 따르는 언어 모델 기반 대화 에이전트를 훈련하기 위한 효과적인 데이터 생성 방법을 제안합니다. 기존 데이터 시뮬레이션 방법들이 발화 수준에서 언어, 주제 또는 대화 행위의 다양성 증가에 집중한 것과 달리, 본 논문은 대화 수준에서 작업 로직 다양성이라는 중요한 측면에 초점을 맞춥니다. LLM을 사용하여 의사결정 트리 구조의 작업 계획을 생성하고, 이를 통해 주어진 작업에 대한 다양한 대화 경로(dialogue flow)를 도출하는 새로운 데이터 시뮬레이션 방법을 제시합니다. 각 대화 경로는 고유한 경로를 따르는 다회전 대화 생성을 안내하며, 15개의 서로 다른 도메인에 걸쳐 3,886개의 대화 경로로 구성된 작업 지향적 대화 데이터셋을 생성합니다. 다음 행동 예측 작업을 사용하여 생성된 데이터셋의 효과를 검증하며, 해당 데이터셋으로 미세 조정된 모델이 GPT-4를 포함한 강력한 기준 모델보다 우수한 성능을 보임을 확인합니다. 논문이 수락되면 코드와 데이터를 공개할 계획입니다.
시사점, 한계점
•
시사점:
◦
작업 로직 다양성에 초점을 맞춘 새로운 데이터 시뮬레이션 방법 제시
◦
LLM 기반 의사결정 트리 구조를 활용한 다양한 대화 경로 생성
◦
GPT-4를 능가하는 성능을 보이는 작업 지향적 대화 데이터셋 생성
◦
코드와 데이터 공개 계획
•
한계점:
◦
제시된 데이터셋의 규모(3,886개의 대화 경로)가 실제 대규모 응용에는 충분하지 않을 수 있음.
◦
15개 도메인의 다양성이 충분한지에 대한 추가적인 검토가 필요함.
◦
다음 행동 예측 외 다른 작업에 대한 성능 평가가 부족함.
◦
생성된 대화의 자연스러움 및 질에 대한 정량적 평가가 부족함.
