Personality-Guided Code Generation Using Large Language Models
Created by
Haebom
저자
Yaoqi Guo, Zhenpeng Chen, Jie M. Zhang, Yang Liu, Yun Ma
개요
자연어 설명으로부터 소스 코드를 자동 생성하는 코드 생성은 소프트웨어 개발을 간소화할 가능성으로 인해 많은 주목을 받고 있습니다. 과제-성격 정렬이 개발 결과 개선과 관련이 있다는 연구에서 영감을 얻어, 본 연구는 대규모 언어 모델(LLM)을 사용한 성격 유도 코드 생성에 대한 실증 연구를 수행합니다. 특히, 코딩 작업에 적합한 성격 특성을 에뮬레이트하는 것이 LLM 성능에 어떤 영향을 미치는지 조사합니다. 네 개의 대표적인 데이터 세트에서 널리 채택된 일곱 개의 LLM을 사용하여 이 방법을 광범위하게 평가했습니다. 연구 결과, 성격 안내는 28개의 LLM-데이터 세트 조합 중 23개에서 통과율이 향상되는 등 코드 생성 정확도를 크게 향상시키는 것으로 나타났습니다. 특히 11개의 경우 개선이 5%를 초과하고 5개의 경우 10%를 초과하며, 가장 높은 이득은 12.9%에 달했습니다. 또한, 성격 안내는 다른 프롬프팅 전략과 쉽게 통합되어 성능을 더욱 향상시킬 수 있습니다. 코드와 데이터는 https://github.com/IanWalls/Persona-Code 에서 공개합니다.
