Tiered Agentic Oversight: A Hierarchical Multi-Agent System for AI Safety in Healthcare
Created by
Haebom
저자
Yubin Kim, Hyewon Jeong, Chanwoo Park, Eugene Park, Haipeng Zhang, Xin Liu, Hyeonhoon Lee, Daniel McDuff, Marzyeh Ghassemi, Cynthia Breazeal, Samir Tulebaev, Hae Won Park
개요
본 논문은 의료 환경에서 대규모 언어 모델(LLM)의 안전 위험을 해결하기 위해 계층적 다중 에이전트 프레임워크인 계층적 에이전트 감독(TAO)을 제안합니다. TAO는 과업의 복잡성과 에이전트의 역할에 따라 에이전트 라우팅을 수행하며, 자동화된 계층 간 및 계층 내 협업과 역할극을 활용하여 강력한 안전 프레임워크를 구축합니다. 의료계의 계층 구조(간호사, 의사, 전문의 등)에서 영감을 얻은 TAO는 적응형 계층 구조를 통해 안전성을 향상시키며, 다양한 의료 안전 벤치마크에서 단일 에이전트 및 다중 에이전트 프레임워크보다 우수한 성능을 보입니다. 특히, 임상의 참여 연구를 통해 의료 분류의 정확도를 40%에서 60%로 향상시켰습니다.
시사점, 한계점
•
시사점:
◦
계층적 다중 에이전트 접근 방식을 통해 LLM의 안전성을 향상시킬 수 있음을 보여줍니다.
◦
TAO의 적응형 계층 구조, 하위 계층의 중요성, 그리고 고급 LLM의 전략적 할당이 안전성 및 성능 향상에 기여함을 밝힙니다.
◦
의료 분야에서 LLM의 안전한 활용을 위한 새로운 프레임워크를 제시합니다.
◦
임상의 피드백 통합을 통한 성능 개선 가능성을 보여줍니다.
•
한계점:
◦
현재는 의료 분야에 특화된 평가이므로, 다른 분야로의 일반화 가능성에 대한 추가 연구가 필요합니다.
◦
임상의 참여 연구의 규모와 일반화 가능성에 대한 명확한 설명이 부족합니다.
◦
TAO의 계층 구조 설계 및 에이전트 역할 분담에 대한 상세한 설명이 더 필요할 수 있습니다.
