Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FiLLM -- A Filipino-optimized Large Language Model based on Southeast Asia Large Language Model (SEALLM)

Created by
  • Haebom

저자

Carlos Jude G. Maminta (Institution College of Computer,Information Sciences, Polytechnic University of the Philippines, Sta. Mesa, Manila), Isaiah Job Enriquez (Institution College of Computer,Information Sciences, Polytechnic University of the Philippines, Sta. Mesa, Manila), Deandre Nigel Nunez (Institution College of Computer,Information Sciences, Polytechnic University of the Philippines, Sta. Mesa, Manila), Michael B. Dela Fuente (Institution College of Computer,Information Sciences, Polytechnic University of the Philippines, Sta. Mesa, Manila)

개요

본 논문은 필리핀어에 특화된 대규모 언어 모델인 FiLLM을 제시합니다. SeaLLM-7B 2.5 모델을 기반으로 저랭크 적응(LoRA) 미세 조정을 활용하여 메모리 효율성을 유지하면서 작업별 성능을 향상시켰습니다. 명명된 개체 인식(NER), 품사 태깅(POS), 의존구문 분석 및 텍스트 요약 등 다양한 필리핀어 데이터셋을 사용하여 모델을 학습 및 평가했습니다. F1 점수, 정밀도, 재현율, 압축률, 키워드 일치율 지표를 사용하여 CalamanCy 모델과 성능을 비교하였으며, 그 결과 CalamanCy 모델이 여러 측면에서 FiLLM보다 우수한 성능을 보이는 것으로 나타났습니다. 본 연구는 현지 언어적 요구에 맞춘 최적화되고 효율적이며 확장 가능한 언어 모델을 제공함으로써 필리핀어 NLP 응용 분야의 발전에 기여합니다.

시사점, 한계점

시사점: 필리핀어 NLP를 위한 최적화된 대규모 언어 모델 FiLLM을 제시함으로써 필리핀어 자연어 처리 기술 발전에 기여. LoRA를 활용한 효율적인 미세 조정 기법 제시.
한계점: CalamanCy 모델에 비해 여러 지표에서 성능이 낮게 나타남. FiLLM 모델의 성능 향상을 위한 추가적인 연구 필요.
👍