Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Beyond Code: The Multidimensional Impacts of Large Language Models in Software Development

Created by
  • Haebom

저자

Sardar Bonabi, Sarah Bana, Vijay Gurbaxani, Tingting Nian

개요

본 논문은 대규모 언어 모델(LLM)이 오픈소스 소프트웨어(OSS) 개발에 미치는 영향을 실증적으로 분석한 연구이다. LLM이 코드 개발, 협업적 지식 전달, 기술 개발 등 세 가지 주요 영역에서 OSS 개발자의 업무에 어떻게 영향을 미치는지 조사하기 위해 이탈리아의 ChatGPT 일시적 차단을 자연 실험으로 활용하여 이탈리아, 프랑스, 포르투갈 세 국가의 GitHub OSS 개발자 88,022명의 데이터를 차이-차이(Difference-in-Differences) 분석 프레임워크와 양방향 고정 효과를 이용하여 분석하였다. 분석 결과, ChatGPT 접근은 개발자 생산성을 6.4%, 지식 공유를 9.6%, 기술 습득을 8.4% 향상시키는 것으로 나타났으며, 이러한 효과는 사용자 경험 수준에 따라 다르게 나타났다. 초보 개발자는 생산성 향상에, 숙련된 개발자는 지식 공유 및 기술 습득 향상에 더 큰 이점을 얻었다. 또한, LLM 지원 학습은 기술적으로 복잡하거나 단편적이거나 빠르게 변화하는 상황에서 가장 큰 효과를 보이는 것으로 나타났다. LLM의 생산성 효과는 직접적인 코드 생성을 넘어 개발자 간의 향상된 협업 학습 및 지식 교류를 포함한다는 것을 보여주었다.

시사점, 한계점

시사점:
LLM 접근은 OSS 개발자의 생산성, 지식 공유, 기술 습득을 향상시킨다.
LLM의 효과는 사용자 경험 수준에 따라 다르게 나타난다 (초보 개발자: 생산성 향상, 숙련 개발자: 지식 공유 및 기술 습득 향상).
LLM 지원 학습은 기술적으로 복잡하거나 단편적이거나 빠르게 변화하는 상황에서 가장 효과적이다.
LLM은 직접적인 코드 생성뿐 아니라 협업적 학습 및 지식 교류를 향상시킨다.
LLM을 전략적으로 배포하면 신규 개발자의 온보딩 및 생산성 향상, 중급 개발자의 지식 공유 및 협업 증진, 빠른 기술 습득 지원이 가능하여 장기적인 조직 생산성 및 민첩성 향상에 기여한다.
한계점:
이탈리아, 프랑스, 포르투갈 세 국가의 GitHub 데이터만을 사용하여 분석하였으므로, 다른 국가나 플랫폼으로 일반화하는 데에는 한계가 있다.
ChatGPT 차단을 자연 실험으로 활용하였으나, 차단 기간 외 다른 요인의 영향을 완벽히 통제하기 어려울 수 있다.
분석 대상이 GitHub OSS 개발자로 한정되어 있어, 다른 유형의 개발자에게는 결과가 다르게 나타날 수 있다.
👍