White-Basilisk는 소프트웨어 취약점 탐지를 위한 새로운 접근 방식으로, 기존 AI 모델 확장에 대한 통념에 도전하며 우수한 성능을 보여줍니다. Mamba 레이어, 선형 자기 주의, 전문가 혼합 프레임워크를 통합한 혁신적인 아키텍처를 활용하여, White-Basilisk는 단 200M의 파라미터 수로 최첨단의 취약점 탐지 성능을 달성합니다. 전례 없는 길이의 시퀀스를 처리하는 모델의 능력은 단일 패스로 광범위한 코드베이스를 포괄적으로 분석할 수 있게 하여, 현재의 대규모 언어 모델(LLM)의 컨텍스트 제한을 뛰어넘습니다. 불균형적인 실제 데이터 세트에서도 강력한 성능을 보이며, 다양한 조직 규모에 걸쳐 배포를 용이하게 하는 계산 효율성을 유지합니다. 이 연구는 코드 보안 분야에서 새로운 기준을 제시할 뿐만 아니라, 특정 도메인 애플리케이션을 위한 AI 개발에서 최적화 전략을 재정의할 가능성이 있는, 작고 효율적으로 설계된 모델이 특정 작업에서 더 큰 모델보다 뛰어난 성능을 발휘할 수 있다는 경험적 증거를 제공합니다.
