Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Enhancing Burmese News Classification with Kolmogorov-Arnold Network Head Fine-tuning

Created by
  • Haebom
Category
Empty

저자

Thura Aung, Eaint Kay Khaing Kyaw, Ye Kyaw Thu, Thazin Myint Oo, Thepchai Supnithi

개요

본 연구는 미자원 언어인 버마어를 대상으로 분류 작업에서 사전 훈련된 인코더의 가중치를 고정하고, 분류 헤드만 미세 조정하는 방식을 채택하여 Kolmogorov-Arnold Networks (KANs)를 Multi-Layer Perceptrons (MLPs)의 대안으로 탐구했습니다. FourierKAN, EfficientKAN, FasterKAN 등 다양한 KAN 아키텍처를 TF-IDF, fastText, mBERT, Distil-mBERT와 같은 다양한 임베딩을 통해 평가했습니다. 실험 결과, KAN 기반 헤드가 MLPs에 필적하거나 더 우수한 성능을 보였으며, 특히 EfficientKAN은 fastText에서 최고 F1-score (0.928)를, FasterKAN은 속도와 정확도 간의 최적 균형을 달성했습니다. Transformer 임베딩에서는 EfficientKAN이 mBERT에서 MLPs와 동등하거나 약간 더 나은 성능 (0.917 F1)을 보였습니다.

시사점, 한계점

KAN 기반 헤드는 MLPs의 효과적인 대안이 될 수 있으며, 특히 미자원 언어 분류 문제에서 유용합니다.
EfficientKAN은 높은 정확도를, FasterKAN은 속도와 정확도 간의 좋은 균형을 제공합니다.
Transformer 임베딩과 함께 KAN을 사용하면 경쟁력 있는 성능을 얻을 수 있습니다.
본 연구는 버마어에 국한되어 다른 언어에 대한 일반화 가능성에 대한 추가 연구가 필요합니다.
KAN 아키텍처의 특정 hyperparameter 튜닝이 성능에 미치는 영향에 대한 추가 분석이 필요합니다.
👍