ORCHID: Orchestrated Retrieval-Augmented Classification with Human-in-the-Loop Intelligent Decision-Making for High-Risk Property
Created by
Haebom
Category
Empty
저자
Maria Mahbub, Vanessa Lama, Sanjay Das, Brian Starks, Christopher Polchek, Saffell Silvers, Lauren Deck, Prasanna Balaprakash, Tirthankar Ghosal
개요
본 논문은 미국 에너지부(DOE) 사이트에서 중요하게 다루어지는 고위험 자산(HRP) 분류를 위한 모듈형 에이전트 시스템인 ORCHID를 소개합니다. ORCHID는 검색 증강 생성(RAG)과 인간 감독을 결합하여 투명하고 감사 가능한 정책 기반 출력을 생성합니다. 에이전트 간 메시징 및 Model Context Protocol(MCP)을 통해 협력하는 소규모 에이전트들을 활용하여, 모델 독립적인 온프레미스 운영을 가능하게 합니다. ORCHID는 실제 HRP 사례에 대한 예비 테스트에서 정확성과 추적성을 향상시켰으며, 불확실한 항목에 대해서는 전문가(SME)에게 의존합니다. 이 시스템은 단일 항목 제출, 근거 기반 인용, SME 피드백 캡처, 그리고 내보낼 수 있는 감사 아티팩트를 제공하여 민감한 DOE 컴플라이언스 워크플로우에서 신뢰할 수 있는 LLM 지원의 실용적인 경로를 보여줍니다.
시사점, 한계점
•
시사점:
◦
HRP 분류의 정확성 및 추적성 향상
◦
규제 변화에 유연하게 대응 가능
◦
감사 가능한 정책 기반 의사 결정 지원
◦
SME와의 협업을 통해 불확실성 해소
◦
민감한 DOE 컴플라이언스 워크플로우에 LLM 활용 가능성 제시
•
한계점:
◦
구체적인 성능 수치 및 비교 분석 부족 (예비 테스트 언급)
◦
다양한 HRP 사례에 대한 일반화 가능성 추가 검토 필요
◦
모델 의존성, 온프레미스 운영의 구체적인 구현 방식, 유지보수 고려사항에 대한 추가 정보 부족
