AA-Omniscience: Evaluating Cross-Domain Knowledge Reliability in Large Language Models
Created by
Haebom
Category
Empty
저자
Declan Jackson, William Keating, George Cameron, Micah Hill-Smith
개요
AA-Omniscience는 언어 모델의 사실적 정확성과 지식 캘리브레이션을 측정하기 위해 설계된 벤치마크입니다. 6,000개의 질문을 사용하여 경제적으로 관련된 42가지 주제를 6가지 도메인에서 다룹니다. 이 평가는 모델의 Omniscience Index를 측정하며, 할루시네이션을 페널티로 부과하고 불확실할 때 기권을 보상합니다. 평가된 모델 중 Claude 4.1 Opus가 가장 높은 점수를 기록했습니다.
시사점, 한계점
•
최첨단 모델에서도 사실성 및 캘리브레이션 약점이 지속적으로 나타납니다.
•
도메인별 성능 차이가 존재하며, 특정 도메인에서는 다른 연구실의 모델이 더 우수한 성능을 보입니다.
•
지식이 중요한 작업에서는 일반적인 성능보다 사용 사례의 요구 사항에 따라 모델을 선택해야 합니다.