RDF-Based Structured Quality Assessment Representation of Multilingual LLM Evaluations
Created by
- Haebom
Category
Empty
저자
Jonas Gwozdz, Andreas Both
개요
본 논문은 대규모 언어 모델(LLM)의 신뢰성 평가를 위한 RDF 기반 프레임워크를 제안합니다. 특히 상충되는 정보에 대한 LLM의 반응을 다국어(독일어, 영어) 환경에서 분석하는 데 초점을 맞춥니다. 완전, 불완전, 상충, 무정보 등 네 가지 맥락 조건에서 모델의 응답을 수집하고, 이를 구조화된 RDF 형태로 표현하여 지식 유출(훈련 데이터에 대한 과도한 의존), 오류 탐지, 다국어 일관성 등을 종합적으로 분석합니다. 소방 안전 분야를 대상으로 한 실험을 통해 맥락 우선순위 및 언어별 성능에 대한 중요한 패턴을 밝히고, 28개 질문 연구에서 모든 평가 측면을 표현하는 데 사용된 어휘가 충분함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
상충되는 정보 하에서의 LLM 신뢰성 평가를 위한 새로운 RDF 기반 프레임워크 제시
◦
다국어 환경에서 LLM의 지식 유출, 오류, 일관성 문제 분석 가능
◦
맥락 정보 처리 및 언어별 성능 차이에 대한 통찰 제공
◦
소방 안전 분야 실험을 통한 프레임워크의 실효성 검증
•
한계점:
◦
소방 안전 분야에 국한된 실험으로 일반화 가능성 제한
◦
분석 대상 언어가 독일어와 영어로 제한됨
◦
사용된 어휘의 충분성 검증은 해당 연구의 범위 내에서만 유효
