Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Lessons Learned from Evaluation of LLM based Multi-agents in Safer Therapy Recommendation

Created by
  • Haebom

저자

Yicong Wu, Ting Chen, Irit Hochberg, Zhoujian Sun, Ruth Edry, Zhengxing Huang, Mor Peleg

개요

본 논문은 다중 질환 환자의 치료 권장에 있어 치료 상충 위험으로 인한 어려움과 기존 의사결정 지원 시스템의 확장성 한계를 해결하기 위해, 일반의가 다중 질환 환자를 관리하는 방식에서 영감을 얻어 LLM 기반 다중 에이전트 시스템(MAS)의 활용 가능성 및 가치를 조사하였다. MDT 의사결정을 모방하여 LLM 에이전트 간 논의를 통해 의학적 충돌을 해결하는 단일 에이전트 및 MAS 프레임워크를 설계하고, 벤치마크 사례를 사용하여 다중 질환 환자의 치료 계획 과제에 대해 시스템을 평가하였다. MAS 성능을 단일 에이전트 접근 방식 및 실제 벤치마크와 비교하였으며, 기술적 정확도 및 재현율을 넘어 임상 목표 달성 및 제안된 조언의 약물 부담을 골드 스탠다드 벤치마크와 비교하는 평가 지표를 정의하였다. 연구 결과, 현재의 LLM을 사용하면 단일 에이전트 GP가 MDT와 동등한 성능을 보이는 것으로 나타났으며, 최고 점수를 받은 모델은 모든 임상 목표를 충족하는 정확한 권장 사항을 제공하지만 조언이 불완전하고 불필요한 약물을 제시하여 약물과 상태 간의 불필요한 충돌이나 약물-약물 상호 작용을 초래하는 경우도 있었다.

시사점, 한계점

시사점: LLM 기반 MAS가 다중 질환 환자의 치료 권장에 대한 새로운 접근 방식을 제시하며, 단일 에이전트 시스템도 MDT 수준의 성능을 달성할 수 있음을 시사한다. 임상 목표 달성 및 약물 부담을 고려한 새로운 평가 지표를 제시하였다.
한계점: 최고 성능 모델조차도 조언의 불완전성 및 불필요한 약물 처방으로 인한 부작용 가능성을 보여준다. 현재 LLM의 한계로 인해 완벽한 치료 권장은 어렵다는 것을 시사한다. 더욱 정교한 LLM 및 평가 지표 개발이 필요하다.
👍