AyurParam: A State-of-the-Art Bilingual Language Model for Ayurveda
Created by
- Haebom
Category
Empty
저자
Mohd Nauman, Sravan Gvm, Vijay Devane, Shyam Pawar, Viraj Thakur, Kundeshwar Pundalik, Piyush Sawarkar, Rohit Saluja, Maunendra Desarkar, Ganesh Ramakrishnan
개요
본 논문은 광범위한 일반적인 작업에는 뛰어나지만, 깊은 문화적, 언어적, 주제별 전문 지식이 필요한 전문 분야에서는 일관적으로 성능이 저조한 기존 대규모 언어 모델(LLM)의 한계를 지적합니다. 특히, 아유르베다와 같은 전통적인 의학 시스템은 주류 LLM이 정확하게 해석하거나 적용하는 데 실패하는 수세기 동안의 미묘한 텍스트 및 임상 지식을 담고 있습니다. 이에, 본 논문은 고전 텍스트 및 임상 지침을 포함하는 광범위하고 전문적으로 큐레이션된 아유르베다 데이터 세트를 사용하여 Param-1-2.9B로부터 미세 조정된 도메인 특화, 이중 언어 언어 모델인 AyurParam-2.9B를 소개합니다. AyurParam의 데이터 세트는 영어와 힌디어로 상황 인지, 추론 및 객관식 스타일의 Q&A를 통합하며, 사실적 정확성과 교육적 명확성을 위한 엄격한 주석 프로토콜을 사용합니다. BhashaBench-Ayur에서 벤치마킹한 결과, AyurParam은 해당 크기 클래스(1.5–3B 매개변수)의 모든 오픈 소스 지침 튜닝 모델을 능가할 뿐만 아니라 훨씬 더 큰 모델과 비교하여 경쟁적이거나 우수한 성능을 보여줍니다. AyurParam의 결과는 전문적인 의료 지식에 대한 신뢰할 수 있고 문화적으로 일치하는 AI를 제공하는 데 있어 진정한 도메인 적응 및 고품질 감독의 필요성을 강조합니다.
시사점, 한계점
•
시사점:
◦
도메인 전문 지식과 고품질 데이터셋을 활용한 미세 조정은 전문 분야에서 LLM의 성능을 크게 향상시킬 수 있습니다.
◦
AyurParam은 특정 의료 지식에 대한 신뢰할 수 있고 문화적으로 적합한 AI 모델 개발의 가능성을 보여줍니다.
◦
이중 언어(영어 및 힌디어) 학습은 다양한 사용자 기반에 대한 접근성을 높입니다.
•
한계점:
◦
본 논문은 AyurParam의 성능을 BhashaBench-Ayur에 국한하여 평가했으며, 다른 벤치마크 또는 실제 적용 시의 성능은 추가적인 연구가 필요합니다.
◦
모델 크기가 제한적이며, 더 큰 모델과의 비교 연구가 필요합니다.
◦
아유르베다 지식에 국한되어 다른 전문 분야로의 일반화 가능성은 추가적인 연구를 통해 확인해야 합니다.
