[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Assistance or Disruption? Exploring and Evaluating the Design and Trade-offs of Proactive AI Programming Support

Created by
  • Haebom

저자

Kevin Pu, Daniel Lazaro, Ian Arawjo, Haijun Xia, Ziang Xiao, Tovi Grossman, Yan Chen

개요

본 논문은 프로그래밍 작업 중 편집기 활동과 작업 컨텍스트를 기반으로 프로그래밍 지원을 시작하는 디자인 프로브 LLM 에이전트인 Codellaborator를 소개하고 평가합니다. 세 가지 인터페이스 변형(프롬프트 전용, 사전 대응 에이전트, 존재감 및 컨텍스트를 갖춘 사전 대응 에이전트)을 통해 점점 더 두드러지는 AI 지원 간의 절충점을 조사했습니다. 18명의 참가자를 대상으로 한 실험을 통해 사전 대응 에이전트가 프롬프트 전용 방식보다 효율성을 높이지만 워크플로우를 방해할 수 있음을 발견했습니다. 그러나 존재 표시기와 상호 작용 컨텍스트 지원은 방해를 줄이고 사용자의 AI 프로세스 인식을 개선했습니다. 사용자 제어, 소유권 및 코드 이해에 대한 Codellaborator의 절충점을 강조하며 프로그래밍 프로세스에 대한 사전 대응성을 적용해야 할 필요성을 강조합니다. 본 연구는 사전 대응 AI 시스템의 설계 탐색 및 평가에 기여하며 AI 통합 프로그래밍 워크플로우에 대한 설계적 함의를 제시합니다.

시사점, 한계점

시사점:
사전 대응형 AI 에이전트는 프롬프트 기반 방식보다 프로그래밍 효율성을 높일 수 있다.
에이전트의 존재 표시 및 상황 정보 제공은 사용자의 AI 프로세스 인식을 높이고 워크플로우 방해를 줄인다.
사전 대응 AI 시스템 설계 시 사용자 제어, 소유권, 코드 이해에 대한 절충점을 고려해야 한다.
프로그래밍 프로세스에 적합한 사전 대응성 수준을 찾는 것이 중요하다.
한계점:
실험 참가자 수가 제한적(N=18)이어서 일반화에 한계가 있다.
특정 LLM 에이전트와 프로그래밍 환경에 국한된 결과일 수 있다.
사용자의 프로그래밍 숙련도에 따른 영향 분석이 부족하다.
장기간 사용 시 발생할 수 있는 문제점에 대한 고찰이 부족하다.
👍