본 논문은 지식 그래프(KG)와 대규모 언어 모델(LLM)을 통합한 복잡한 시스템에서의 하이퍼파라미터 최적화의 중요성을 강조합니다. Cognee라는 모듈식 프레임워크를 사용하여 멀티홉 질의응답 벤치마크(HotPotQA, TwoWikiMultiHop, MuSiQue)에서 청크화, 그래프 구성, 검색, 프롬프팅 등과 관련된 하이퍼파라미터를 최적화했습니다. 실험 결과, 표적 최적화를 통해 성능 향상을 달성할 수 있음을 보여주지만, 그 성능 향상은 데이터셋과 평가 지표에 따라 일관적이지 않다는 것을 발견했습니다. 따라서 하이퍼파라미터 튜닝의 잠재력을 보여주는 동시에, 향후 발전을 위해서는 아키텍처 발전뿐만 아니라 복잡하고 모듈화된 시스템의 최적화 및 평가를 위한 명확한 프레임워크가 필요함을 주장합니다.
