ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains
Created by
- Haebom
Category
Empty
저자
Yein Park, Chanwoong Yoon, Jungwoo Park, Donghyeon Lee, Minbyul Jeong, Jaewoo Kang
개요
본 논문은 대규모 언어 모델(LLM)의 시간적 지식 평가의 어려움을 해결하기 위해, 시간적 적응성을 고려한 새로운 벤치마크 데이터셋 ChroKnowBench를 제시합니다. ChroKnowBench는 다양한 도메인, 시간 의존성, 시간적 상태라는 세 가지 핵심 측면에 걸쳐 시간적으로 축적된 지식을 평가하도록 설계되었습니다. 변화하는 지식(개인의 역사, 과학적 발견, 법률 개정 등)과 변하지 않는 지식(수학적 진리, 상식 등)을 구분하여 평가합니다. 또한, LLM의 비모수적 시간적 지식을 평가하기 위한 새로운 샘플링 기반 프레임워크인 ChroKnowledge를 제안하고, 이를 통해 LLM의 시간적 지식 추출 능력이 학습 데이터 형식에 따라 다르며, 시간 경계에서 지식의 일부만 기억하거나 잘못 기억하는 경향이 있음을 발견했습니다. 이러한 문제를 해결하기 위해, 시간 범위를 단계별로 거치면서 시간적 지식을 유도하는 ChroKnowPrompt라는 심층 프롬프팅 기법을 제시하고, 이를 통해 오픈소스 및 독점 LLM에서 모두 시간적 지식 회상에 성공함을 보였습니다. 다만, 동적인 데이터셋과 비정형 데이터 형식에는 어려움을 겪는다는 점을 밝혔습니다.
시사점, 한계점
•
시사점:
◦
LLM의 시간적 지식 평가를 위한 새로운 벤치마크 데이터셋(ChroKnowBench)과 평가 프레임워크(ChroKnowledge) 제시
◦
LLM의 시간적 지식 추출 능력이 학습 데이터 형식에 따라 다름을 밝힘
◦
시간적 지식 추출을 개선하는 심층 프롬프팅 기법(ChroKnowPrompt) 제안 및 효과 검증
◦
오픈소스 및 독점 LLM 모두에 적용 가능한 프롬프팅 기법의 다양성 확인
•
한계점:
◦
ChroKnowPrompt는 동적인 데이터셋과 비정형 데이터 형식에 대한 성능이 제한적임
◦
LLM의 시간적 지식 추출 능력에 대한 보다 포괄적인 이해가 필요함
