Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Pre-Filtering Code Suggestions using Developer Behavioral Telemetry to Optimize LLM-Assisted Programming

Created by
  • Haebom
Category
Empty

저자

Mohammad Nour Al Awad, Sergey Ivanov, Olga Tikhonova

개요

대규모 언어 모델(LLM) 기반의 코드 제안 기능이 코드 편집기에 널리 사용되지만, 많은 제안이 무시되어 계산 자원 낭비, 대기 시간 증가, 불필요한 방해를 초래합니다. 본 논문은 LLM을 호출하기 전에 제안 수용 가능성을 예측하는 경량 사전 필터 모델을 소개합니다. 이 모델은 타이핑 속도, 파일 탐색, 편집 활동과 같은 실시간 개발자 텔레메트리만을 사용합니다. 4개월 동안 실제 Visual Studio Code 플러그인에 배포한 결과, 제안 수용률이 18.4%에서 34.2%로 거의 두 배 증가했으며, 가치가 낮은 LLM 호출을 35% 억제했습니다. 이 연구는 행동 신호만으로도 LLM 지원 프로그래밍의 사용자 경험과 시스템 효율성을 향상시킬 수 있음을 보여주며, 시간 인지적이고 개인 정보 보호적인 적응 메커니즘의 가치를 강조합니다. 이 필터는 호출 전 편집기 텔레메트리만 사용하며 코드나 프롬프트를 검사하지 않습니다.

시사점, 한계점

시사점:
개발자 행동 신호를 활용하여 LLM 코드 제안의 효율성을 크게 향상시킬 수 있음.
LLM 호출 빈도를 줄여 컴퓨팅 자원 절약 및 응답 시간 개선 가능.
사용자 경험을 개선하고, 불필요한 방해를 줄일 수 있음.
코드나 프롬프트에 접근하지 않아 개인 정보 보호를 유지함.
한계점:
사전 필터 모델의 성능은 사용된 텔레메트리 데이터의 정확성과 품질에 의존적일 수 있음.
새로운 유형의 코드 제안이나 개발자 행동 변화에 적응하기 위해 지속적인 업데이트가 필요할 수 있음.
특정 개발 환경이나 프로그래밍 스타일에 따라 모델의 효과가 달라질 수 있음.
👍