TAG: A Lightweight Framework for Test-Driven Agentic Artifact Generation

작성자

Haebom

카테고리

Empty

저자

Yaniv Melamed, Yoni Zukerman, Michal Shechter, Miri Weissler, Ashwin Patil, Hani Neuvirth-Telem

💡 개요

본 논문은 대규모 언어 모델(LLM)을 이용한 구조화된 아티팩트 생성의 신뢰성 문제를 해결하기 위해 "LLM이 생성하고, 우리가 검증한다"는 원칙에 기반한 TAG 프레임워크를 제안한다. TAG는 실패 시 오류 메시지를 LLM에 제공하여 개선을 유도하는 테스트 주도 생성, 프로그램 가능하거나 LLM 기반의 테스트, 전문가의 판단을 모방하는 평가자 활용을 특징으로 한다. 이를 통해 보안 분야에서 KQL 쿼리 생성, MITRE ATT&CK 매핑, 엔티티 매핑 등에서 실질적인 생산성 향상과 함께 높은 품질의 결과물을 얻을 수 있음을 입증했다.

🔑 시사점 및 한계

•

LLM 생성 아티팩트의 신뢰성을 높이기 위한 효과적인 검증 프레임워크를 제시하여 실제 운영 환경에서의 적용 가능성을 보여준다.

•

사람이 직접 수행하던 복잡한 품질 검증 과정을 LLM 기반의 평가자로 자동화 및 확장함으로써 효율성을 극대화한다.

•

제안된 프레임워크는 보안 분야를 넘어 다양한 도메인의 아티팩트 생성 작업으로 확장될 수 있는 잠재력을 가진다.

•

LLM 기반 테스트의 정확성과 일관성을 유지하기 위한 지속적인 튜닝 및 보정 작업이 필요하며, 복잡하거나 추상적인 요구사항에 대한 LLM의 이해 능력 한계는 여전히 과제로 남는다.

PDF 보기

Made with Slashpage