본 논문은 대화형 AI 연구의 어려움을 해소하기 위해 인간-챗봇 대화를 생성하는 프레임워크인 DialogueForge를 제안합니다. DialogueForge는 실제 인간-챗봇 상호작용에서 추출한 시드 프롬프트를 사용하여 다양한 크기의 LLM(GPT-4o, Llama, Mistral 등)으로 인간-챗봇 스타일의 대화를 생성합니다. 소규모 오픈소스 모델의 성능 향상을 위해 파인튜닝 기법을 활용하고, UniEval과 GTEval을 사용하여 생성된 대화의 품질을 평가합니다. 실험 결과, 대규모 독점 모델이 더 사실적인 대화를 생성하지만, 소규모 오픈소스 모델도 파인튜닝을 통해 성능을 크게 향상시킬 수 있음을 보여줍니다. 하지만 모든 모델에서 자연스럽고 일관성 있는 장문의 대화 생성은 여전히 어려움으로 남아있습니다.
