본 논문은 프로그래밍 과정에서 AI 에이전트의 사전 예측적인 지원이 프로그래밍 효율성에 미치는 영향을 평가하기 위해 Codellaborator라는 디자인 프로브 LLM 에이전트를 개발하고 실험한 연구입니다. Codellaborator는 에디터 활동과 작업 맥락을 기반으로 프로그래밍 지원을 시작하며, prompt-only, proactive agent, proactive agent with presence and context 세 가지 인터페이스 변형을 통해 AI 지원의 눈에 띄는 정도에 따른 장단점을 비교 분석했습니다. 18명의 참가자를 대상으로 한 실험 결과, 사전 예측적인 에이전트는 prompt-only 방식보다 효율성을 높였지만 워크플로우를 방해하는 부작용도 발생했습니다. 하지만, presence indicators와 상호작용 맥락 지원은 이러한 방해를 완화하고 사용자의 AI 프로세스 인식을 향상시켰습니다. 결론적으로, 사전 예측적인 AI 시스템의 디자인 탐색 및 평가에 기여하며, AI 통합 프로그래밍 워크플로우에 대한 디자인적 함의를 제시합니다. 사용자 제어, 소유권, 코드 이해에 대한 상충 관계 또한 강조하며, 프로그래밍 프로세스에 맞게 사전 예측성을 조정해야 함을 시사합니다.
