Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MeNTi: Bridging Medical Calculator and LLM Agent with Nested Tool Calling

Created by
  • Haebom

저자

Yakun Zhu, Shaohang Wei, Xu Wang, Kui Xue, Xiaofan Zhang, Shaoting Zhang

개요

본 논문은 의료 분야에서 대규모 언어 모델(LLM)의 활용을 제한하는 요소를 해결하기 위해, 의료 계산기와 같은 특수 도구를 통합하는 새로운 에이전트 아키텍처 MeNTi를 제안한다. MeNTi는 특화된 의료 도구 키트를 통합하고, 메타 도구 및 중첩 호출 메커니즘을 사용하여 LLM의 도구 활용 능력을 향상시킨다. 특히, 계산기 선택, 슬롯 채우기, 단위 변환 등 복잡한 의료 시나리오에서 발생하는 실질적인 문제를 해결하기 위해 유연한 도구 선택 및 중첩 도구 호출 기능을 제공한다. 또한, 의료 계산기를 사용하여 환자의 건강 상태를 평가하는 LLM의 능력을 평가하기 위한 새로운 벤치마크 CalcQA를 소개한다. CalcQA는 전문 의사가 구성한 100개의 케이스-계산기 쌍과 281개의 의료 도구 키트로 구성된다. 실험 결과는 MeNTi 프레임워크가 성능을 크게 향상시킨다는 것을 보여준다.

시사점, 한계점

시사점:
의료 분야에서 LLM의 활용을 향상시키는 새로운 아키텍처 MeNTi를 제시.
복잡한 의료 시나리오에서 LLM의 도구 활용 능력을 향상시키는 메타 도구 및 중첩 호출 메커니즘을 제시.
의료 계산기를 사용한 환자 건강 상태 평가를 위한 새로운 벤치마크 CalcQA를 제공.
LLM 기반 의료 진단 및 치료 지원 시스템 개발에 기여.
한계점:
CalcQA 벤치마크의 규모가 제한적일 수 있음. (100개의 케이스-계산기 쌍)
MeNTi의 일반화 성능 및 다양한 의료 시나리오에 대한 적용 가능성에 대한 추가 연구 필요.
실제 임상 환경에서의 MeNTi의 성능 및 안전성에 대한 검증 필요.
의료 도구 키트의 완전성 및 정확성에 대한 지속적인 관리 및 업데이트 필요.
👍