Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A.S.E: A Repository-Level Benchmark for Evaluating Security in AI-Generated Code

Created by
  • Haebom

저자

Keke Lian, Bin Wang, Lei Zhang, Libo Chen, Junjie Wang, Ziming Zhao, Yujiu Yang, Miaoqian Lin, Haotong Duan, Haoran Zhao, Shuang Liao, Mingda Guo, Jiazheng Quan, Yilu Zhong, Chenhao He, Zichuan Chen, Jie Wu, Haoling Li, Zhaoxuan Li, Jiongchi Yu, Hui Li, Dong Zhang

개요

본 논문은 소프트웨어 엔지니어링에서 대규모 언어 모델(LLM)의 사용 증가에 따라 생성된 코드의 엄격한 보안 평가가 필요함을 강조한다. 기존 벤치마크는 실제 AI 지원 프로그래밍 시나리오와의 관련성이 부족하여 운영 환경에서 AI 생성 코드와 관련된 실질적인 보안 위험을 평가하기에 부적절하다. 이러한 문제를 해결하기 위해, 본 논문은 실제 AI 프로그래밍 작업을 정확하게 반영하도록 설계된 저장소 수준 평가 벤치마크인 A.S.E(AI Code Generation Security Evaluation)를 제시한다. A.S.E는 AI 생성 코드의 보안을 평가하기 위한 포괄적이고 신뢰할 수 있는 프레임워크를 제공한다. 주요 LLM에 대한 A.S.E 평가 결과, 현재 LLM은 안전한 코딩에 여전히 어려움을 겪고 있음을 보여준다. 저장소 수준 시나리오의 복잡성은 일반적으로 코드 조각 수준 작업에서 좋은 성능을 보이는 LLM에 어려움을 야기한다. 또한, 더 큰 추론 예산이 반드시 더 나은 코드 생성으로 이어지는 것은 아니다. 이러한 관찰은 AI 코드 생성의 현재 상태에 대한 귀중한 통찰력을 제공하고 개발자가 실제 작업에 가장 적합한 모델을 식별하는 데 도움이 된다. 또한 실제 애플리케이션에서 안전하고 효율적인 코드를 생성하기 위해 LLM을 개선하기 위한 기반을 마련한다.

시사점, 한계점

시사점: 실제 AI 지원 프로그래밍 시나리오에 대한 보안 평가를 위한 새로운 벤치마크 A.S.E 제시. 현재 LLM의 안전한 코드 생성 능력의 한계를 밝힘. 저장소 수준 작업의 복잡성이 LLM 성능에 미치는 영향을 분석. 추론 예산과 코드 생성 품질 간의 상관관계 부재를 확인. 실제 애플리케이션을 위한 LLM 개선 방향 제시.
한계점: A.S.E 벤치마크의 일반화 가능성에 대한 추가 연구 필요. 다양한 유형의 보안 취약성에 대한 LLM의 취약성 분석이 추가적으로 필요. 더욱 다양한 LLM 모델에 대한 평가 필요.
👍