Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Comparing Llama3 and DeepSeekR1 on Biomedical Text Classification Tasks

Created by
  • Haebom
Category
Empty

저자

Yuting Guo, Abeed Sarker

개요

본 연구는 두 개의 오픈소스 거대 언어 모델(LLM), Llama-3-70B와 DeepSeekR1-distill-Llama3-70B의 성능을 6가지 생의학 텍스트 분류 작업에 대해 비교 분석했습니다. 분석에는 소셜 미디어 데이터 4개 작업과 전자 건강 기록의 임상 기록 데이터 2개 작업이 포함되었으며, 모든 실험은 제로샷 설정에서 수행되었습니다. 정밀도, 재현율, F1 점수와 95% 신뢰 구간을 측정하여 성능을 평가했습니다. DeepSeekR1-distill-Llama3-70B가 대부분의 작업에서 정밀도 측면에서 더 나은 성능을 보였지만, 재현율에서는 혼합된 결과를 보였습니다. 제로샷 LLM은 일부 작업에서 높은 F1 점수를 보였지만 다른 작업에서는 상당히 저조한 성능을 나타냈습니다.

시사점, 한계점

•
시사점:
◦
특정 생의학 텍스트 분류 작업의 요구 사항, 특히 정밀도-재현율 트레이드오프를 고려하여 모델을 선택해야 함을 시사합니다.
◦
주석이 달린 데이터가 있는 경우, 지도 학습 분류 접근 방식이 제로샷 LLM보다 더 신뢰할 수 있습니다.
◦
DeepSeekR1-distill-Llama3-70B가 정밀도 측면에서 우수한 성능을 보임.
•
한계점:
◦
제로샷 설정에서만 실험을 수행하여, 주석이 달린 데이터를 활용한 지도 학습 방식과의 비교가 제한적임.
◦
소셜 미디어 데이터와 임상 기록 데이터의 특성 차이에 따른 모델 성능 변화에 대한 심층 분석 부족.
◦
모델 성능의 재현율 측면에서 일관되지 않은 결과를 보임.
👍
Made with Slashpage