Sign In

User Misconceptions of LLM-Based Conversational Programming Assistants

Created by
  • Haebom
Category
Empty

저자

Gabrielle O'Brien, Antonio Pedro Santos Alves, Sebastian Baltes, Grischa Liebel, Mircea Lungu, Marcos Kalinowski

개요

LLM 기반 프로그래밍 어시스턴트 사용자들이 가질 수 있는 오해를 파악하는 것을 목표로 한다. 특히, 챗GPT와 같은 대화형 어시스턴트의 다양한 기능, 모델 버전 간의 차이, 웹 검색, 코드 실행, RAG (Retrieval-Augmented Generation) 등의 확장 기능 가용성에 대한 사용자 오해를 분석한다. 두 단계의 접근 방식을 사용하여, 가능한 오해들을 브레인스토밍하고, 공개 데이터셋을 통해 자연스러운 파이썬 프로그래밍 대화에서 이러한 문제들이 나타나는지 질적으로 분석한다.

시사점, 한계점

시사점:
LLM 기반 챗봇의 웹 접근, 코드 실행, 비 텍스트 출력 생성과 같은 기능의 가용성에 대한 잘못된 기대를 확인했다.
프로그램 디버깅, 검증, 최적화에 필요한 정보 범위에 대한 더 심오한 개념적 문제의 가능성을 발견했다.
LLM 기반 도구들이 프로그래밍 능력을 사용자에게 더 명확하게 전달하도록 설계할 필요성을 강조한다.
한계점:
논문에 명시된 한계점은 직접적으로 언급되지 않았지만, 연구 대상이 되는 데이터셋의 특성, 분석의 질적 접근 방식의 한계, 그리고 특정 LLM 모델에 국한된 분석 등, 일반적인 질적 연구의 한계점을 내포할 수 있다.
👍