본 논문은 안전 중요 소프트웨어 평가를 위한 새로운 접근 방식인 Document Retrieval-Augmented Fine-Tuning (DRAFT)을 제시합니다. DRAFT는 대규모 언어 모델(LLM)을 활용하여 복잡한 규제 프레임워크에 대한 안전 중요 소프트웨어의 준수 여부를 평가하는 기존의 수동 평가 방식의 한계를 극복하고자 합니다. 기존의 Retrieval-Augmented Generation (RAG) 기술을 기반으로, 소프트웨어 문서와 관련 규정 표준을 동시에 참조하는 이중 검색 아키텍처를 도입한 새로운 미세 조정 프레임워크를 제시합니다. 실제 평가 시나리오를 반영하여 다양한 수의 관련 문서와 의미 있는 오답을 포함하는 반자동 데이터셋 생성 방법론을 개발하여 DRAFT를 미세 조정했습니다. GPT-4o-mini를 사용한 실험 결과, 기준 모델보다 정확도가 7% 향상되었으며, 증거 처리, 응답 구조, 도메인 특유의 추론 측면에서 질적인 개선이 나타났습니다. DRAFT는 규제 분야에서 필수적인 투명성과 증거 기반 추론을 유지하면서 준수 평가 시스템을 개선하는 실용적인 접근 방식을 제시합니다.
