Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

The Impact of Large Language Models on Open-source Innovation: Evidence from GitHub Copilot

Created by
  • Haebom

저자

Doron Yeverechyahu, Raveesh Mayya, Gal Oestreicher-Singer

개요

본 논문은 GitHub Copilot의 출시를 자연 실험으로 활용하여 대규모 언어 모델(LLM)이 협업적 혁신 과정에 미치는 영향을 분석합니다. 특히, 새로운 역량 획득을 통한 능력 혁신과 기존 역량 강화를 통한 반복적 혁신이라는 두 가지 측면에서 LLM의 효과를 GitHub의 오픈소스 프로젝트 데이터를 통해 검증합니다. GitHub Copilot의 선택적 배포(일부 프로그래밍 언어 지원)를 통해, LLM이 전반적인 기여도를 증가시키는 것을 확인하고, 특히 유지보수 또는 기능 개선과 같은 반복적 혁신에 더 큰 영향을 미치는 것을 발견했습니다. 2022년 6월 모델 업그레이드 이후에는 능력 혁신과 반복적 혁신 간의 격차가 더욱 커지는 경향을 보였으며, 활동적인 프로젝트에서 이러한 경향이 더욱 두드러졌습니다. 이는 LLM의 성능 향상과 맥락 정보 증가가 반복적 혁신에 더 큰 영향을 미침을 시사합니다. 마지막으로, 고부가가치 혁신 솔루션을 장려하기 위한 정책적 함의를 논의합니다.

시사점, 한계점

시사점:
LLM이 비지도 환경에서도 협업적 혁신을 효과적으로 증강시킬 수 있음을 보여줍니다.
LLM은 기존 기능 개선 및 유지보수와 같은 반복적 혁신에 능력 혁신보다 더 큰 영향을 미칩니다.
LLM의 성능 향상과 맥락 정보의 증가는 반복적 혁신과 능력 혁신 간의 격차를 더욱 확대할 수 있습니다.
고부가가치 혁신 솔루션을 장려하기 위한 정책적 함의를 제시합니다.
한계점:
GitHub Copilot의 선택적 배포라는 자연 실험의 특성상, 다른 LLM이나 다른 플랫폼에서는 결과가 다를 수 있습니다.
분석 대상이 GitHub의 오픈소스 프로젝트로 제한되어 일반화에 한계가 있을 수 있습니다.
능력 혁신과 반복적 혁신의 정의 및 측정 방식에 따라 결과가 달라질 수 있습니다.
👍