Sign In

zsLLMCode: An Effective Approach for Code Embedding via LLM with Zero-Shot Learning

Created by
  • Haebom
Category
Empty

저자

Zixiang Xian, Chenhui Cui, Rubing Huang, Chunrong Fang, Zhenyu Chen

개요

본 논문은 소프트웨어 공학(SE)에서 코드 임베딩 생성을 위한 새로운 제로샷 접근 방식인 zsLLMCode를 제안합니다. 기존의 코드 임베딩 방법들은 종종 비용이 많이 드는 지도 학습이나 도메인 적응을 위한 미세 조정에 의존하는 반면, zsLLMCode는 LLM과 문장 임베딩 모델을 사용하여 특정 작업에 대한 학습이나 미세 조정 없이 코드 임베딩을 생성합니다. LLM이 생성하는 잘못된 정보 문제를 효과적으로 해결하는 것을 목표로 하며, 다양한 LLM과 임베딩 모델을 사용한 실험을 통해 SourcererCC, Code2vec, InferCode, TransformCode 와 같은 최첨단 비지도 학습 방식보다 우수한 성능을 보임을 입증했습니다.

시사점, 한계점

시사점:
LLM과 문장 임베딩 모델을 활용한 제로샷 코드 임베딩 접근 방식으로, 비용 효율적이고 효과적인 코드 임베딩 생성 가능성을 제시.
기존 비지도 학습 방식보다 우수한 성능을 보여 소프트웨어 공학 분야 발전에 기여.
LLM의 잘못된 정보 문제를 효과적으로 해결하는 새로운 전략 제시.
한계점:
제시된 방법의 일반화 성능에 대한 추가적인 검증 필요.
다양한 프로그래밍 언어와 코드 스타일 전반에 대한 성능 평가 필요.
특정 도메인이나 코드 스타일에서는 성능 저하 가능성 존재.
👍