본 논문은 대규모 언어 모델(LLM) 기반 대화 시스템의 주제 안내 성능 향상을 목표로 한다. 기존 방식의 한계점인 사용자의 개념 혼동 식별 부족을 해결하기 위해, 개선된 개념 강화 항목 반응 이론(CEIRT) 모델을 활용한 Ask-Good-Question (AGQ) 프레임워크를 제시한다. AGQ는 CEIRT 모델과 LLM을 결합하여 사용자의 지식 수준을 파악하고, 관련 정보를 효율적으로 검색할 수 있도록 안내 질문을 생성한다. 실험 결과, 제안된 방법은 기존 방법들보다 사용자의 정보 검색 경험을 향상시키는 것으로 나타났다.