CLINB: A Climate Intelligence Benchmark for Foundational Models
Created by
Haebom
Category
Empty
저자
Michelle Chen Huebscher, Katharine Mach, Aleksandar Stanic, Markus Leippold, Ben Gaiarin, Zeke Hausfather, Elisa Rawat, Erich Fischer, Massimiliano Ciaramita, Joeri Rogelj, Christian Buck, Lierni Sestorain Saralegui, Reto Knutti
개요
본 논문은 대규모 언어 모델(LLMs)이 복잡하고 전문적인 지식을 얼마나 잘 처리하는지 평가하는 것을 목표로 한다. 기후 변화를 주제로 하여, 지식의 질과 증거적 뒷받침에 대한 명확한 요구 사항을 가진, 개방형, 근거 기반, 멀티모달 질문 답변 작업을 수행하는 벤치마크 CLINB를 소개한다. CLINB는 실제 사용자의 질문 데이터 세트와 기후 과학자들이 큐레이션한 평가 루브릭을 사용한다. 논문은 모델 기반 평가 프로세스를 구현하고 여러 최첨단 모델을 평가한다. 그 결과 최첨단 모델이 지식 합성 능력에서 뛰어난 성능을 보였지만, 근거 능력에 한계가 있음을 발견했다.
시사점, 한계점
•
시사점:
◦
최첨단 LLMs은 PhD 수준의 이해도와 프레젠테이션 품질을 보여주는 뛰어난 지식 합성 능력을 보인다.
◦
도메인 전문가가 약한 모델의 도움을 받아 큐레이션한 "하이브리드" 답변보다 우수한 성능을 보인다.
◦
CLINB와 같은 신뢰할 수 있고 해석 가능한 벤치마크가 신뢰할 수 있는 AI 시스템 구축에 필요하다.
•
한계점:
◦
모델의 근거 능력에 실패가 발생한다.
◦
참고 자료 및 이미지의 환각률이 높다.
◦
지식 합성 능력과 검증 가능한 귀속 사이의 간극을 좁히는 것이 AI의 과학적 워크플로우 적용에 필수적이다.
