[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Study of LLMs' Preferences for Libraries and Programming Languages

Created by
  • Haebom

저자

Lukas Twist, Jie M. Zhang, Mark Harman, Don Syme, Joost Noppen, Helen Yannakoudakis, Detlef Nauck

개요

본 논문은 8개의 다양한 대규모 언어 모델(LLM)을 대상으로 코드 생성 시 라이브러리 및 프로그래밍 언어 선호도에 대한 최초의 실증 연구를 수행했습니다. 연구 결과, LLM들은 NumPy와 같은 널리 사용되는 라이브러리를 과도하게 사용하는 경향이 있으며(최대 48%의 경우 불필요하게 사용), Python을 기본 언어로 선호하는 경향(Python이 최적의 언어가 아닌 고성능 프로젝트 초기화 작업에서도 58%의 경우 Python을 선택하고 Rust는 전혀 사용하지 않음)을 보이는 것으로 나타났습니다. 이는 LLM이 적합성 및 작업 특유의 최적성보다 친숙함과 인기에 우선순위를 두기 때문이며, 이는 보안 취약성과 기술 부채를 유발하고 새롭게 개발된, 더 적합한 도구 및 언어에 대한 노출을 제한할 수 있습니다. 따라서 소프트웨어 개발 워크플로우에 LLM을 책임감 있게 통합하려면 이러한 편향을 이해하고 해결하는 것이 필수적입니다.

시사점, 한계점

시사점:
LLM이 코드 생성 시 특정 라이브러리 및 프로그래밍 언어에 대한 편향을 가지고 있음을 최초로 실증적으로 밝힘.
LLM의 라이브러리 및 언어 선택이 소프트웨어 개발 관행에 상당한 영향을 미칠 수 있음을 시사.
LLM의 편향으로 인해 보안 취약성 및 기술 부채 발생 가능성 제기.
LLM의 책임감 있는 사용을 위해 편향 해결 및 적합성 고려 중요성 강조.
한계점:
연구에 포함된 LLM의 수가 제한적일 수 있음.
다양한 유형의 코드 생성 작업에 대한 일반화 가능성에 대한 추가 연구 필요.
LLM의 편향을 해결하기 위한 구체적인 방법론 제시 부족.
👍