본 논문은 대규모 언어 모델(LLMs)의 아이디어 생성 능력 평가의 한계점을 지적하고, 이를 극복하기 위한 새로운 평가 프레임워크인 AI Idea Bench 2025를 제시한다. AI Idea Bench 2025는 3,495개의 AI 논문과 그 파생 연구들을 포함하는 데이터셋과, 지상 진실과 일반적인 참고 자료를 기반으로 아이디어의 질을 평가하는 견고한 평가 방법론으로 구성된다. LLM의 지식 유출, 객관적인 기준이 부족한 벤치마크, 프롬프트 디자인에 의한 제한된 실행 가능성 분석 등 기존 평가 방식의 문제점을 해결하여 혁신적인 연구 아이디어 발굴의 잠재력을 높이는 것을 목표로 한다.
