Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A.S.E: A Repository-Level Benchmark for Evaluating Security in AI-Generated Code

Created by
  • Haebom

저자

Keke Lian, Bin Wang, Lei Zhang, Libo Chen, Junjie Wang, Ziming Zhao, Yujiu Yang, Haotong Duan, Haoran Zhao, Shuang Liao, Mingda Guo, Jiazheng Quan, Yilu Zhong, Chenhao He, Zichuan Chen, Jie Wu, Haoling Li, Zhaoxuan Li, Jiongchi Yu, Hui Li, Dong Zhang

개요

본 논문은 소프트웨어 엔지니어링에서 대규모 언어 모델(LLM)의 사용 증가에 따라 생성된 코드의 보안 평가가 필수적임을 강조한다. 기존 벤치마크는 실제 AI 프로그래밍 시나리오와의 관련성이 부족하여 실제 환경에서 AI 생성 코드와 관련된 실질적인 보안 위험을 평가하는 데 부적절하다. 이러한 문제를 해결하기 위해, 본 논문에서는 실제 AI 프로그래밍 작업을 정확하게 반영하도록 설계된 저장소 수준 평가 벤치마크인 A.S.E(AI Code Generation Security Evaluation)를 제시한다. A.S.E를 사용한 주요 LLM들의 평가 결과, 현재 LLM들은 안전한 코딩에 어려움을 겪고 있으며, 저장소 수준 시나리오의 복잡성은 일반적으로 코드 조각 수준 작업에서 우수한 성능을 보이는 LLM에 과제를 제시한다는 것을 밝혔다. 또한, 더 큰 추론 예산이 반드시 더 나은 코드 생성으로 이어지는 것은 아님을 보여준다. 이러한 관찰은 AI 코드 생성의 현재 상태에 대한 귀중한 통찰력을 제공하며, 개발자가 실제 작업에 가장 적합한 모델을 선택하는 데 도움이 되고, 실제 애플리케이션에서 안전하고 효율적인 코드를 생성하기 위해 LLM을 개선하기 위한 기반을 마련한다.

시사점, 한계점

•
시사점:
◦
실제 AI 프로그래밍 시나리오를 반영한 새로운 벤치마크 A.S.E 제시
◦
현존 LLM의 안전한 코드 생성 능력의 한계를 밝힘
◦
저장소 수준 작업의 복잡성이 LLM 성능에 미치는 영향을 분석
◦
추론 예산과 코드 생성 품질 간의 상관관계 부재를 확인
◦
개발자의 LLM 선택 및 LLM 개선 방향 제시
•
한계점:
◦
A.S.E 벤치마크의 일반화 가능성에 대한 추가 연구 필요
◦
다양한 LLM 및 프로그래밍 언어에 대한 평가 확장 필요
◦
더욱 복잡하고 다양한 실제 시나리오를 반영한 벤치마크 개선 필요
👍
Made with Slashpage