본 논문은 방대한 학술 논문들 속에서 필요한 정보를 효율적으로 얻는 데 어려움을 해결하기 위해, LLM 기반 자동 질의응답 시스템인 NeuSym-RAG를 제안합니다. 기존 RAG 방식의 한계인 신경망 기반 검색과 기호 기반 검색의 분리 및 단일 관점 청크화 문제를 해결하기 위해, NeuSym-RAG는 두 검색 방식을 상호작용적으로 결합하는 하이브리드 프레임워크를 제시합니다. 다중 관점 청크화와 스키마 기반 파싱을 통해 PDF의 구조화된 내용을 관계형 데이터베이스와 벡터 저장소에 저장하고, LLM 에이전트가 필요한 정보를 반복적으로 수집하여 답변을 생성합니다. AIRQA-REAL을 포함한 세 개의 PDF 기반 QA 데이터셋 실험 결과, NeuSym-RAG는 벡터 기반 RAG 및 다양한 구조적 기준 모델보다 안정적으로 우수한 성능을 보였습니다. 코드와 데이터는 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
신경망 기반 검색과 기호 기반 검색의 장점을 결합하여 기존 RAG 방식의 성능을 개선했습니다.
◦
다중 관점 청크화와 스키마 기반 파싱을 통해 PDF의 구조적 정보를 효과적으로 활용했습니다.
◦
세 개의 PDF 기반 QA 데이터셋에서 기존 방식보다 우수한 성능을 입증했습니다.
◦
개발된 시스템과 데이터를 공개하여 연구 재현성을 높였습니다.
•
한계점:
◦
AIRQA-REAL 데이터셋이 자체적으로 주석된 데이터셋이라는 점에서 외부 데이터셋에 대한 일반화 성능 평가가 추가적으로 필요할 수 있습니다.
◦
특정 형식의 PDF에만 최적화되어 있을 가능성이 있으며, 다양한 형식의 PDF에 대한 적용성을 추가적으로 검증해야 합니다.
