A Graph-based RAG for Energy Efficiency Question Answering
Created by
- Haebom
Category
Empty
저자
Riccardo Campi, Nicolo Oreste Pinciroli Vago, Mathyas Giudici, Pablo Barrachina Rodriguez-Guisado, Marco Brambilla, Piero Fraternali
개요
본 연구는 에너지 효율성(EE) 관련 질의응답을 위해 그래프 기반 검색 증강 생성(RAG) 아키텍처 내에서 대규모 언어 모델(LLM)의 사용을 연구한다. 시스템은 먼저 에너지 분야의 지침 및 규제 문서에서 지식 그래프(KG)를 자동으로 추출한다. 그런 다음, 생성된 그래프를 탐색하고 추론하여 다국어로 정확한 답변을 제공한다. RAGAs 프레임워크 속성, 101개의 질문-답변 쌍으로 구성된 검증 데이터 세트 및 해당 분야 전문가를 사용하여 인간 기반 검증을 수행했다. 결과는 이 아키텍처의 잠재력을 확인하고 강점과 약점을 파악했다. 검증 결과는 시스템이 약 4분의 3의 경우(75.2 +- 2.7%) 정확하게 답변하며, 일반적인 EE 관련 질문에 대해 더 높은 결과(최대 81.0 +- 4.1%)를 보였고, 다국어 능력도 유망함을 보여주었다(번역으로 인한 4.4% 정확도 손실).
시사점, 한계점
•
시사점:
◦
에너지 효율성 관련 질문에 대한 정확한 답변 제공 능력 입증 (75.2% 정확도).
◦
일반적인 EE 관련 질문에 대한 높은 정확도 (최대 81.0%).
◦
다국어 지원의 잠재력 (번역으로 인한 4.4% 정확도 손실).
◦
RAG 아키텍처 내 LLM의 성공적인 활용.
•
한계점:
◦
연구에서 제시된 구체적인 약점은 명시되지 않음 (결과의 구체적인 분석 부족).
◦
검증에 사용된 질문-답변 쌍의 수 (101개)가 제한적일 수 있음.
◦
다국어 능력에 대한 더 자세한 분석 부재 (어떤 언어에서 어떤 종류의 문제 발생했는지 등).
