Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Code Vulnerability Repair with Large Language Model using Context-Aware Prompt Tuning

Created by
  • Haebom

저자

Arshiya Khan, Guannan Liu, Xing Gao

개요

본 논문은 대규모 언어 모델(LLM)인 GitHub Copilot을 이용하여 버퍼 오버플로 취약성 탐지 및 수정 능력을 평가하고, 문맥 인식 프롬프트 튜닝 기법을 제안합니다. 실험 결과, Copilot은 버퍼 오버플로 취약성 탐지율은 76%로 높지만, 수정율은 15%로 매우 낮았습니다. 하지만, 취약성 관련 다양한 보안 및 코드 문맥 정보를 포함하는 도메인 지식을 주입하여 프롬프트를 조정함으로써 수정 성공률을 63%까지 향상시켰습니다. 이는 도메인 지식 없이 수정하는 것보다 4배 이상 향상된 결과입니다.

시사점, 한계점

•
시사점:
◦
LLM의 취약성 수정 능력 향상을 위한 문맥 인식 프롬프트 튜닝 기법의 효과를 실증적으로 보여줌.
◦
도메인 지식을 활용한 프롬프트 엔지니어링이 LLM의 성능 향상에 중요한 역할을 함을 시사.
◦
버퍼 오버플로와 같은 복잡한 취약성 수정에 있어 LLM의 한계와 개선 방향을 제시.
•
한계점:
◦
연구 대상이 GitHub Copilot 하나로 제한됨. 다른 LLM에 대한 일반화 가능성 검증 필요.
◦
버퍼 오버플로 취약성에만 집중, 다른 유형의 취약성에 대한 적용 가능성 추가 연구 필요.
◦
프롬프트 튜닝 기법의 일반화 및 자동화에 대한 추가 연구 필요.
👍
Made with Slashpage