Complex QA and language models hybrid architectures, Survey
Created by
- Haebom
Category
Empty
저자
Xavier Daull, Patrice Bellot, Emmanuel Bruno, Vincent Martin, Elisabeth Murisasco
개요
본 논문은 하이브리드 아키텍처에 초점을 맞춰 대규모 언어 모델(LLM) 아키텍처와 "복잡한" 질문 답변을 위한 전략의 최신 기술을 검토합니다. LLM 기반 챗봇 서비스는 LLM의 잠재력을 누구나 쉽게 파악할 수 있게 했지만, 복잡한 질문에 대한 한계도 드러났습니다. 복잡한 질문(예: "기후 변화를 줄이기 위한 최적의 발전 방식은 무엇인가?")에 대한 답을 얻기 위해서는 전문화된 아키텍처, 도메인 지식, 새로운 기술, 분해 및 다단계 해결, 깊은 추론, 민감한 데이터 보호, 설명 가능성 및 사람 중심 프로세스가 필요합니다. 따라서 본 논문은 (1) 복잡한 질문 처리에 필요한 기술과 과제 및 LLM의 일반적인 한계, (2) 정확성, 설명 가능성, 공정성, 견고성, 근거성, 충실성, 유해성 등을 측정하고 개선하기 위한 데이터 세트, 비용 함수 및 평가 지표, (3) (a) 훈련 및 강화, (b) 하이브리드화, (c) 프롬프팅, (d) 에이전트 아키텍처(에이전트, 도구) 및 확장된 추론을 통한 LLM 한계 극복 방안을 검토합니다.
시사점, 한계점
•
시사점:
◦
복잡한 질문 답변을 위한 LLM의 한계 극복 방안 제시: 훈련, 하이브리드화, 프롬프팅, 에이전트 아키텍처 등 다양한 접근 방식 검토.
◦
LLM 기반 시스템의 성능 평가 및 개선을 위한 지표 제시 (정확성, 설명 가능성, 공정성 등).
◦
복잡한 문제 해결을 위한 LLM 활용 가능성 확대.
•
한계점:
◦
구체적인 아키텍처 및 기술 구현에 대한 상세 설명 부족 (개략적인 검토).
◦
각 접근 방식의 실질적인 장단점 및 비교 분석 부족.
◦
데이터 세트, 비용 함수, 평가 지표에 대한 구체적인 예시 및 활용 방법 부족.
