An Iterative Utility Judgment Framework Inspired by Philosophical Relevance via LLMs

Created by

Haebom

저자

Hengran Zhang, Keping Bi, Jiafeng Guo, Xueqi Cheng

💡 개요

본 논문은 정보 검색(IR) 시스템 평가의 두 핵심 척도인 관련성과 유용성, 특히 검색 증강 생성(RAG) 시스템에서 유용성의 중요성을 강조합니다. Schutz의 철학적 관련성 시스템에서 영감을 받아, ITEM 프레임워크는 RAG의 각 구성 요소(관련성 랭킹, 유용성 판단, 답변 생성)를 상호 보완적인 인지 수준으로 간주하고 이를 증진하는 반복적인 접근 방식을 제안합니다. 실험 결과, ITEM은 유용성 판단, 랭킹, 답변 생성 성능 모두에서 기존 방법론 대비 향상을 보였습니다.

🔑 시사점 및 한계

•

RAG 시스템에서 LLM의 제한된 입력 대역폭을 고려할 때, 단순히 관련성뿐만 아니라 결과의 유용성이 더욱 중요함을 부각합니다.

•

철학적 이론을 AI 시스템 설계에 적용하여, RAG의 각 단계를 인간의 인지 수준과 유사하게 모델링함으로써 성능 향상을 이끌어낼 수 있는 새로운 관점을 제시합니다.

•

본 연구는 다양한 데이터셋에서 ITEM 프레임워크의 유효성을 입증했지만, 실제 복잡하고 동적인 사용자 시나리오에서의 확장성과 효율성에 대한 추가적인 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage