Sign In

Assistance or Disruption? Exploring and Evaluating the Design and Trade-offs of Proactive AI Programming Support

Created by
  • Haebom
Category
Empty

저자

Kevin Pu, Daniel Lazaro, Ian Arawjo, Haijun Xia, Ziang Xiao, Tovi Grossman, Yan Chen

개요

본 논문은 프로그래밍 작업 중 편집기 활동 및 작업 컨텍스트를 기반으로 프로그래밍 지원을 시작하는 디자인 프로브 LLM 에이전트인 Codellaborator를 소개하고 평가한다. 세 가지 인터페이스 변형(프롬프트 전용, 사전 에이전트, 존재감 및 컨텍스트를 포함한 사전 에이전트)을 통해 점점 더 두드러지는 AI 지원 간의 절충점을 조사하였다. 18명의 참가자를 대상으로 한 연구를 통해 사전 에이전트가 프롬프트 전용 방식에 비해 효율성을 높이지만 워크플로우 방해도 발생시킨다는 것을 발견했다. 그러나 존재 표시기와 상호 작용 컨텍스트 지원은 방해를 줄이고 사용자의 AI 프로세스 인식을 향상시켰다. 사용자 제어, 소유권 및 코드 이해에 대한 Codellaborator의 절충점을 강조하며, 프로그래밍 프로세스에 대한 사전 예측성을 적용해야 할 필요성을 강조한다. 이 연구는 사전 예측 AI 시스템의 설계 탐색 및 평가에 기여하며, AI 통합 프로그래밍 워크플로우에 대한 설계적 함의를 제시한다.

시사점, 한계점

시사점:
사전 에이전트 기반의 프로그래밍 지원이 프롬프트 전용 방식보다 효율성을 향상시킬 수 있음을 보여줌.
존재 표시기와 상호 작용 컨텍스트 지원이 사전 에이전트의 워크플로우 방해를 줄이고 사용자의 AI 프로세스 인식을 개선함.
AI 통합 프로그래밍 워크플로우 디자인에 대한 시사점 제시.
한계점:
사전 에이전트가 워크플로우를 방해할 수 있다는 점.
사용자 제어, 소유권, 코드 이해에 대한 절충점 존재.
참가자 수가 제한적(N=18).
디자인 프로브 연구이므로 실제 환경 적용 가능성에 대한 추가 연구 필요.
👍