LLM-KG-Bench 3.0 프레임워크는 대규모 언어 모델(LLM)이 지식 그래프(KG) 작업을 지원하는 능력을 자동 평가하기 위해 설계된 프레임워크입니다. 이 논문은 업데이트된 작업 API, 수정된 작업, vllm 라이브러리를 통한 다양한 오픈 모델 지원 확장 등의 개선 사항을 포함한 LLM-KG-Bench 3.0 프레임워크와, 해당 프레임워크를 사용하여 생성된 프롬프트, 답변 및 평가 데이터셋을 제시합니다. 30개 이상의 최신 오픈 및 독점 LLM을 사용하여 생성된 포괄적인 데이터셋은 모델의 RDF 및 SPARQL 작업 능력을 보여주는 모범적인 모델 카드를 생성하고, Turtle 및 JSON-LD RDF 직렬화 작업에서 성능을 비교할 수 있도록 합니다.