본 논문은 의료 분야에 적용하기 위한 대규모 언어 모델(LLM)의 압축 및 배포에 관한 연구입니다. 자원 제약이 있는 에지 디바이스에서도 실시간으로 LLM을 활용할 수 있도록, 일반 목적 압축 프레임워크를 통해 의료 분야에 특화된 의료 보조 시스템을 제안합니다. 도메인 특정 데이터에 대한 뉴런 중요도 측정을 통해 불필요한 뉴런을 과감하게 제거하여 모델 크기를 줄이면서 성능을 유지하는 방법을 제시합니다. 이후, 추가적인 메모리 감소를 위해 후처리 양자화를 적용하고, MedMCQA, MedQA, PubMedQA 등 의료 벤치마크를 통해 압축된 모델을 평가합니다. 또한, 50% 압축된 Gemma 모델과 67% 압축된 LLaMA3 모델을 Jetson Orin Nano 및 Raspberry Pi 5에 배포하여 하드웨어 제약 조건 하에서 실시간, 에너지 효율적인 추론을 달성합니다.
