Daniel Nichols, Konstantinos Parasyris, Harshitha Menon, Brian R. Bartoldson, Giorgis Georgakoudis, Tal Ben-Nun, Abhinav Bhatele
개요
본 논문은 코드 생성, 변환, 요약 등 다양한 작업을 위해 최근 널리 사용되는 코드 LLMs(Large Language Models)의 한계점을 다룹니다. 트랜스포머 기반 모델은 코드의 제어 흐름이나 데이터 흐름과 같은 구조적이고 분석적인 속성을 추론하는 데 제한적입니다. 기존 연구는 구조화된 데이터와 그래프 신경망을 사용하여 이러한 속성을 모델링했지만, 현대 LLMs의 생성 능력과 확장성에는 미치지 못했습니다. 따라서 본 논문에서는 코드를 텍스트와 구조화된 형태 모두로 모델링하는 강점을 결합하는 새로운 접근 방식을 제시합니다.
시사점, 한계점
•
시사점: 코드의 구조적 속성과 텍스트적 특성을 모두 고려하는 새로운 코드 LLMs 모델링 방식을 제시함으로써, 기존 모델의 한계를 극복할 가능성을 보여줍니다. 더욱 정확하고 효율적인 코드 생성, 변환, 요약 등의 작업 수행을 위한 새로운 가능성을 제시합니다.
•
한계점: 제시된 새로운 접근 방식의 구체적인 내용과 성능 평가 결과가 논문에 포함되어 있지 않아 실제 효과를 판단하기 어렵습니다. 구현의 복잡성 및 계산 비용에 대한 고려가 필요합니다. 다양한 프로그래밍 언어와 코드 스타일 전반에 대한 일반화 성능이 검증되어야 합니다.
