Open Knowledge Bench (OKBench)는 대규모 언어 모델(LLM)의 지식 집약적 질문 응답 능력을 평가하기 위한 동적 지식 벤치마크를 생성하는 완전 자동화된 프레임워크입니다. 뉴스 도메인에 초점을 맞춰 매일 업데이트되는 지식을 활용하며, 에이전트 기반 방식으로 벤치마크의 소싱, 생성, 검증, 배포를 자동화합니다. OKBench는 벤치마크 생성의 민주화를 통해 검색 증강 방법의 철저한 평가를 용이하게 합니다. 다양한 크기와 구성의 오픈 소스 및 독점 LLM을 대상으로 새로운 지식을 활용한 검색 유무에 따른 성능을 평가한 결과, 새로운 정보에 대한 모델의 뚜렷한 동작을 보여주었으며, 검색이 소형 모델과 대형 모델 간의 성능 격차를 줄이는 데 기여함을 확인했습니다.
