Meta-Pretraining for Zero-Shot Cross-Lingual Named Entity Recognition in Low-Resource Philippine Languages
Created by
Haebom
저자
David Demitri Africa, Suchir Salhan, Yuval Weiss, Paula Buttery, Richard Diehl Martinez
개요
저자들은 메모리나 지연 시간에 제약이 있는 환경에서, 소규모 디코더 언어 모델(LM)을 사전 학습하여 사전 학습 시 보이지 않은 언어로 빠르게 적응하고 제로샷 전이가 가능한지를 연구한다. 특히, 모델의 자기 회귀 목표의 일부를 1차 MAML(Model-Agnostic Meta-Learning)로 대체하는 방식을 사용하였다. 타갈로그어와 세부아노어를 대상으로 실험을 진행했으며, MAML을 통해 제로샷 micro-F1 점수가 향상되고 수렴 시간이 단축됨을 확인했다.
시사점, 한계점
•
MAML을 활용한 소규모 디코더 LM의 제로샷 NER 성능 향상
•
타갈로그어 및 세부아노어와 같은 저자원 언어 NER 문제 해결에 대한 가능성 제시
•
헤드만 튜닝 시 2-6%, 전체 튜닝 시 1-3%의 micro-F1 향상
•
수렴 시간을 최대 8%까지 단축
•
표면 앵커의 중요성 강조 (타갈로그어 사례 입자 si/ni와 함께 등장하는 단일 토큰 인물 개체)
