본 논문은 대규모 언어 모델(LLM)의 훈련 데이터 품질, 안전성 및 윤리적 문제를 해결하기 위한 프레임워크를 제시합니다. 특히 Common Crawl과 같은 웹 규모 데이터셋의 무분별한 수집으로 인한 문제점을 지적하며, ElasticSearch 기반 파이프라인을 이용하여 LLM 훈련 데이터셋을 색인하고 분석하는 방법을 제안합니다. SwissAI's FineWeb-2 코퍼스(1.5TB, 4개 언어)를 대상으로 실험한 결과, 밀리초 단위의 빠른 검색 성능을 달성하여 실시간 데이터셋 분석을 가능하게 함을 보여줍니다. 이를 통해 보다 안전하고 책임감 있는 AI 시스템 개발에 기여할 수 있는 실용적인 도구를 제공합니다.
