ChaI-TeA: A Benchmark for Evaluating Autocompletion of Interactions with LLM-based Chatbots
Created by
- Haebom
Category
Empty
저자
Shani Goren, Oren Kalinsky, Tomer Stav, Yuri Rapoport, Yaron Fairstein, Ram Yazdi, Nachshon Cohen, Alexander Libov, Guy Kushilevitz
개요
LLM 기반 챗봇의 증가로 인해 인간-컴퓨터 상호작용의 상당 부분이 챗봇으로 전환되었습니다. LLM의 놀라운 능력 덕분에 사용자는 다양한 주제와 스타일을 다루는 길고 다양한 자연어 텍스트를 사용하여 상호 작용할 수 있습니다. 하지만 메시지를 작성하는 데 시간과 노력이 많이 소요되므로 사용자를 지원하는 자동 완성 솔루션이 필요합니다. 본 논문에서는 챗봇 상호 작용 자동 완성이라는 과제를 제시하고, LLM 기반 챗봇 상호 작용을 위한 자동 완성 평가 프레임워크인 ChaI-TeA(CHat InTEraction Autocomplete)를 소개합니다. 이 프레임워크는 과제의 공식적인 정의와 적절한 데이터 세트 및 측정 기준을 포함합니다. 본 논문에서는 정의된 자동 완성 과제에 대해 9개의 모델을 평가하여 현재의 기성품 모델들이 어느 정도 성능을 보이지만, 특히 생성된 제안의 순위 매기기 측면에서 개선의 여지가 많다는 것을 발견했습니다. 본 논문에서는 이 과제에 종사하는 실무자들을 위한 통찰력을 제공하고, 해당 분야 연구자들을 위한 새로운 연구 방향을 제시하며, 향후 연구의 기반으로 프레임워크를 공개합니다.
시사점, 한계점
•
시사점: 챗봇 상호작용 자동완성이라는 새로운 과제를 정의하고, 이를 위한 평가 프레임워크인 ChaI-TeA를 제시함으로써 향후 연구의 기반을 마련했습니다. 기존 모델의 성능과 한계를 분석하여 개선 방향을 제시했습니다.
•
한계점: 현재의 기성품 모델들은 챗봇 상호작용 자동완성 과제에서 완벽한 성능을 보이지 못하며, 특히 생성된 제안의 순위 매기기 측면에서 개선이 필요합니다. 더욱 다양하고 정교한 데이터셋 및 평가 지표 개발이 필요할 수 있습니다.
