Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

RetrieveAll: A Multilingual Named Entity Recognition Framework with Large Language Models

Created by
  • Haebom

저자

Jin Zhang, Fan Gao, Linyu Li, Yongbin Yu, Xiangxiang Wang, Nyima Tashi, Gadeng Luosang

개요

대규모 언어 모델의 발전으로 자원이 풍부한 언어에 대한 개체명 인식(NER) 성능이 크게 향상되었지만, 자원이 부족하거나 중간 수준인 언어의 경우 개선의 여지가 크다. 기존의 다국어 NER 방법은 다국어 적응 과정에서 심각한 언어 간섭 문제에 직면하는데, 이는 서로 다른 언어 간의 특징 충돌과 자원이 풍부한 언어의 특징이 자원이 부족한 언어의 특징을 억압하는 경쟁적 억제 현상으로 나타난다. 각 언어에 대해 전용 모델을 훈련하면 이러한 간섭을 완화할 수 있지만, 확장성이 부족하고 실제 응용 프로그램에서 과도한 계산 비용이 발생한다. 이러한 문제를 해결하기 위해 본 논문에서는 동적 LoRA 기반의 범용 다국어 NER 프레임워크인 RetrieveAll을 제안한다. 이 프레임워크는 언어 간의 작업별 특징을 분리하고 효율적인 동적 적응성을 보여준다. 또한, 외부 리소스에 의존하지 않고 데이터의 고유한 잠재력을 완전히 활용하는 크로스-그래뉼러리티 지식 증강 방법을 제안한다. 계층적 프롬프팅 메커니즘을 활용하여 지식 주입을 안내함으로써, 이 방법은 "프롬프트 기반 추론" 패러다임을 "프롬프트 기반 학습"으로 발전시킨다. 실험 결과, RetrieveAll은 기존 기준 모델보다 성능이 우수하며, PAN-X 데이터셋에서 평균 F1 점수가 12.1% 향상되었다.

시사점, 한계점

시사점:
동적 LoRA 기반의 범용 다국어 NER 프레임워크 RetrieveAll 제시
언어 간 작업 특징 분리 및 효율적인 동적 적응성 확보
외부 리소스 없이 데이터의 잠재력을 활용하는 크로스-그래뉼러리티 지식 증강 방법 제안
"프롬프트 기반 추론"에서 "프롬프트 기반 학습"으로 패러다임 전환
PAN-X 데이터셋에서 기존 기준 모델 대비 평균 F1 점수 12.1% 향상
한계점:
논문에서 구체적으로 언급된 한계점은 없음. 추가적인 실험 및 분석을 통해 다양한 저자원 언어 및 데이터셋에 대한 일반화 성능 평가가 필요할 수 있음. 또한, 계산 비용 및 메모리 사용량에 대한 더 자세한 분석이 필요할 수 있음.
👍