Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

HealthSLM-Bench: Benchmarking Small Language Models for Mobile and Wearable Healthcare Monitoring

Created by
  • Haebom

저자

Xin Wang, Ting Dang, Xinyu Zhang, Vassilis Kostakos, Michael J. Witbrock, Hong Jia

개요

본 논문은 모바일 및 웨어러블 의료 모니터링에서 대규모 언어 모델(LLM)의 효용성과 한계를 다루고 있다. 기존의 클라우드 기반 LLM 기반 의료 솔루션은 개인정보 보호 문제와 메모리 사용량 및 지연 시간 증가라는 문제점을 가지고 있다. 이를 해결하기 위해, 본 논문에서는 경량화된 소규모 언어 모델(SLM)을 모바일 및 웨어러블 기기에서의 의료 예측 작업에 적용하여 평가하였다. 제로샷, 퓨샷, 지시어 미세 조정 기법을 사용하여 SLM의 성능을 평가하고, 최고 성능을 보인 미세 조정된 SLM을 모바일 기기에 배포하여 실제 의료 시나리오에서의 효율성과 예측 성능을 평가하였다. 그 결과, SLM은 LLM과 비교할 만한 성능을 보이면서 효율성과 개인정보 보호 측면에서 상당한 이점을 제공하는 것으로 나타났다. 그러나 클래스 불균형 및 퓨샷 시나리오 처리와 같은 과제는 여전히 남아있다.

시사점, 한계점

시사점:
SLM이 LLM과 유사한 의료 예측 성능을 보이며, 동시에 효율성과 개인정보 보호를 향상시킬 수 있음을 보여줌.
모바일 및 웨어러블 기기 기반의 차세대 개인정보 보호 의료 모니터링 시스템 개발에 SLM이 유망한 해결책임을 제시.
한계점:
클래스 불균형 문제 해결 필요.
퓨샷 시나리오에서의 성능 개선 필요.
👍